智能语言研究 | 更新时间:2026-07-02
AI赋能语料库建设:以《论语》中俄平行语料库为例
葛晓帅 2 ,  韩悦 1    作者信息&出版信息
语料库语言学   ·   2026年7月2日   ·   2026年 13卷 第1期  
0 0(CNKI)
PDF
该文暂无导航

AI 摘要

1 引言

介绍了大语言模型在语言学和应用语言学研究中的应用背景,指出语料库研究已进入"智能后编辑"时代,技术门槛显著降低;分析了平行语料库建设面临的多重挑战及现有研究的不足,特别是AI全流程赋能中小规模经典文献多语种平行语料库的案例匮乏;最后明确了本文以《论语》中俄平行语料库为案例,系统展示AI技术在OCR识别、跨语言自动对齐和检索系统开发等全流程中的具体应用,为语料库研究者提供"AI思维"的实践参照。

2 文献综述

梳理了平行语料库建设的传统范式及其挑战,包括OCR识别准确率有限、对齐工具处理复杂翻译关系效果不佳、检索系统技术门槛高等问题,并指出经典文献多语种语料库建设面临低资源语言处理等特殊困难。继而综述了大语言模型在语料库研究中的应用现状,涵盖语料生成与数据增强、自动标注与信息抽取、领域大模型构建及古典文本处理四个主要方向。最后指出现有研究存在全流程案例缺失、经典文献跨语言实证匮乏、研究者"AI思维"不足及AI辅助检索系统开发空白等缺口,为本文以《论语》中俄平行语料库为例展示AI全流程应用奠定基础。

3 语料库建设实践

系统阐述了《论语》中俄平行语料库的建设实践,涵盖语料来源、文本数字化、跨语言对齐及检索系统开发四个核心环节。语料来源为2001年俄罗斯出版的《论语》俄译合集,收录瓦西里耶夫、波波夫等五位主要译者的译本,并增补阿列克谢耶夫等其他译者译文作为参考。建设流程分为语料数字化与纠错、跨语言多译本对齐、检索系统开发与部署三个阶段。

文本数字化环节采用百度开源的PaddleOCR工具替代传统商业软件,利用其深度学习架构、多语言支持及免费开源优势完成俄语扫描文献识别。针对OCR后出现的单词粘连、大小写错误、形近字母混淆、换行断裂及特殊字符误识等典型问题,研究设计专门提示词调用DeepSeek R1大模型进行批量纠错,再由俄语专业人员人工审核,形成"AI处理+人工确认"模式,使人工校对时间减少70%—80%。

跨语言对齐环节面临"一对五"多译本、翻译策略差异显著及缺译现象等挑战。研究通过Python脚本调用DeepSeek R1,以JSON格式输出对齐结果,提示词设计明确译者姓名、预见数量不一致问题、严禁修改原文并规范输出结构。经人工核验,全部对齐结果无误,验证了非俄语研究者借助大模型完成跨语言对齐的可行性。

检索系统开发突破传统平台的技术门槛与功能限制,采用MiniMax大模型Agent模式通过自然语言描述直接生成Web系统代码,再由Claude 4.5进行微调。最终系统实现中俄双条件检索、词性过滤、Lemma检索、章节指定、译本筛选及分译本词频统计六大功能,整个开发周期不超过两个工作日,展现了AI代码生成技术对语料库定制化工具开发的赋能价值。

4 讨论

分析了AI技术在《论语》中俄平行语料库建设全流程中的赋能效能,指出AI显著提升了文本数字化与纠错、跨语言对齐、检索系统开发等环节的效率,降低了技术门槛,使研究者核心竞争力从"技术执行能力"转向"研究设计与学术判断力"。章节总结了三点实践经验:精准描述需求需要掌握行业术语以提升提示词质量;培养"AI思维"主动思考任务优化路径;坚持"AI处理+人工审核"的协作范式以确保质量。最后承认研究存在文本结构规整、缺乏对照实验、输出随机性等局限,并展望多模态模型和更强多语言模型的发展前景。

5 结语

以《论语》中俄平行语料库建设为案例,系统展示了AI技术在语料库建设全流程中的创新应用,包括PaddleOCR文本识别、DeepSeek辅助纠错、大模型驱动跨语言自动对齐及定制化检索系统开发。核心观点强调语料库研究者应树立"AI思维",将AI工具融入研究各环节以拓展研究边界,同时指出需以学术素养为前提、人工审核为保障,实现AI高效性与人类判断力的有机结合。

* 以上内容由AI自动生成,内容仅供参考。对于因使用本网站以上内容产生的相关后果,本网站不承担任何商业和法律责任。

展开

当前期刊

当前期刊
    目录

    推荐论文

    • 大语言模型驱动的语料库翻译研究方法创新

    • 基于大语言模型的BCC语料库自然语言检索

    • 东南亚高级汉语学习者介词框式结构习得实证研究