logo logo

대형 언어 모델 기반 BCC 코퍼스 자연어 검색

Tingchao Liu ,  

Luming Lu ,  

Endong Xun ,  

Zeying Jin ,  

Zhaoyong Yang ,  

,  

摘要

코퍼스는 언어학과 자연어 처리 분야에서 매우 중요합니다. 베이징어언대학교의 BCC 코퍼스는 자원이 풍부하고 검색 효율이 높아 높이 평가받고 있습니다. 그러나 BCC 검색식의 복잡성은 그 보급을 제한합니다. 이를 위해 본 논문은 자연어로 BCC 코퍼스를 검색하는 것을 목표로 TextToBCC 모델을 제안합니다. 우선, 대형 언어 모델을 활용하여 BCC 검색식의 자연어 설명을 생성하는 균형 잡힌 BCC 검색식 데이터셋을 구축하였습니다. 다음으로, 대형 언어 모델을 미세 조정하여 자연어를 BCC 검색식으로 변환하는 것을 지원하도록 하였습니다. 실험 결과는 TextToBCC 모델의 우수한 성능을 입증했습니다. 이 성과는 BCC 코퍼스 사용 난이도를 낮출 뿐만 아니라 더 넓은 분야로의 확산과 적용을 촉진하여 언어학 연구와 자연어 처리 실무에 편의를 제공합니다.

关键词

코퍼스;검색식;대형 언어 모델;미세 조정

阅读全文