专栏:多语种智能信息处理 | 更新时间:2026-02-04
基于大语言模型的BCC语料库自然语言检索
刘廷超 ,  鲁鹿鸣 ,  荀恩东 * ,  靳泽莹 ,  杨兆勇    作者信息&出版信息
语料库语言学   ·   2026年2月4日   ·   2025年 12卷 第1期  
14 0(CNKI)
PDF
该文暂无导航

AI 摘要

1 引言

介绍了信息时代下语言数据增长对语言学研究和自然语言处理的影响,强调了语料库的重要性。提到中文语料库建设成果,如BCC语料库等,并指出使用语料库检索需掌握特定检索式规则,增加了使用难度。自然语言查询作为降低使用门槛的方式受到关注,但自然语言到语料库检索式的转换研究进展有限。本文旨在研究自然语言到语料库检索式的转换,以BCC语料库为对象,研发TextToBCC模型,通过构建数据集、设计转换方法、微调大语言模型等步骤,实现自然语言到BCC检索式的转换,降低使用难度,为相关领域提供高效检索工具。

2 研究背景

首先阐述了语料库在语言研究、教学及自然语言处理中的重要性,同时指出了语料库检索式复杂性对普及应用的限制。接着介绍了自然语言查询技术,强调其允许用户以自然语言形式进行信息检索,举例了文本到SQL转换及自然语言到CQL转换的研究。最后探讨了大语言模型及其微调技术,说明了大语言模型在语言理解和生成方面的进展,以及微调技术如LoRA在优化模型性能、降低计算成本和显存占用方面的作用。

3 构建BCC检索式数据集

本章节详细阐述了构建BCC检索式数据集的全过程。首先,通过对BCC语料库的检索日志和错误日志进行分析,分类整理并按比例提取样本,同时设计检索式生成策略以补充数据不足的分类,最终构建出一个平衡且全面的BCC检索式数据集。BCC语料库是一个以汉语为主体的多语言在线资源库,具有数据量大、领域覆盖全面和检索高效等优势,采用检索式进行高效查询。研究从检索日志中筛选出五万条用户查询实例,将其细分为六个类别,并进行统计分析,发现数据分布不平衡,因此采用数据生成技术进行数据增强。同时,从检索错误日志中提取一万条数据,设计错误检测与纠正机制,构建纠错数据集。此外,为支持模型训练与评估,从BCC语料库中筛选例句并进行标注,构建高质量句子标注数据集,并设计BCC检索式生成规则,生成多样化检索式。最终,按比例构建检索式数据集,提升数据的可处理性与可追溯性。

4 TextToBCC模型训练

详细阐述了TextToBCC模型的训练过程,旨在将自然语言有效转换为BCC检索式。首先,通过设计包含关键要素的提示语,利用通义千问和ChatGLM等在线大语言模型生成BCC检索式的自然语言描述,并经人工审核修正后构建数据集。接着,介绍了TextToBCC模型的生成,通过对开源大语言模型微调实现目标,构建微调数据集时,将BCC检索式及其自然语言描述分别作为输入和期望输出,同时加入纠错数据集以训练模型识别修正错误检索式。在微调阶段,分别对ChatGLM3和通义千问模型进行微调,采用LoRA技术减小训练参数和计算成本,调整微调配置并运行脚本完成微调,最终将优化后的模型与原始模型合并,提升模型在自然语言到BCC检索式转换任务上的表现。

5 实验

本章节通过一系列测试评估了ChatGLM3-6B和Qwen-7B微调模型在自然语言转换BCC检索式的效果。测试包括自然语言转换测试、检索式纠错测试和性能测试。在自然语言转换测试中,Qwen-7B微调模型在精确匹配率和执行正确率上均优于ChatGLM3-6B微调模型。在纠错测试中,两个模型都显示出较高的错误识别和纠正能力,平均纠错能力均达到99%以上。性能测试显示,Qwen-7B微调模型的平均响应时间显著低于ChatGLM3-6B微调模型。综合分析表明,Qwen-7B微调模型在检索式转换的准确率和性能上均优于ChatGLM3-6B微调模型,最终选择Qwen-7B微调模型作为TextToBCC模型。

6 结论

本章节总结了TextToBCC模型的设计与实现,该模型通过构建微调数据集和联合训练方法,成功将自然语言转换为BCC检索式,并具备纠错功能,显著提升了用户体验和模型实用性。实验结果验证了模型的高性能,且该方法具有广泛的适用性,为BCC语料库的推广提供了新途径。

* 以上内容由AI自动生成,内容仅供参考。对于因使用本网站以上内容产生的相关后果,本网站不承担任何商业和法律责任。

展开

当前期刊

当前期刊
    目录