logo logo

大規模言語モデルに基づくBCCコーパス自然言語検索

Tingchao Liu ,  

Luming Lu ,  

Endong Xun ,  

Zeying Jin ,  

Zhaoyong Yang ,  

,  

摘要

コーパスは言語学および自然言語処理の分野で極めて重要です。北京語言大学のBCCコーパスはリソースが豊富で検索効率が高く、高く評価されています。しかし、BCCの検索式の複雑さがその普及を制限しています。これに対し、本論文ではTextToBCCモデルを提案し、自然言語によるBCCコーパスの検索を実現することを目標としています。まず、大規模言語モデルを用いてBCC検索式の自然言語による説明を生成した均衡のとれたBCC検索式データセットを構築しました。次に、大規模言語モデルを微調整し、自然言語からBCC検索式への変換をサポートできるようにしました。実験結果はTextToBCCモデルの優れた性能を示しました。この成果はBCCコーパスの利用の難しさを軽減するだけでなく、より広範な分野への普及と応用を促進し、言語学研究および自然言語処理の実践に便益をもたらします。

关键词

コーパス;検索式;大規模言語モデル;微調整

阅读全文