본 연구는 복잡한 의미 분류 작업에서 대규모 언어 모델의 실제 적용에 초점을 맞추었으며, ‘일대일로’ 이니셔티브의 뉴스 담론을 사례로 삼았다. 평가 출처, 평가 범주 및 평가 대상을 공동 선택 주석 경로를 통해 인간-기계 협업 평가 주석 방법을 설계하고 검증하였다. 이 방법은 전체 작업을 세 단계로 나누고 다섯 차례에 걸쳐 수행한다. 먼저 두 차례에 걸친 평가 대상 주석 오류 분석과 프롬프트 최적화를 통해 세 번째 차례에서 만족스러운 주석 결과를 얻었다. 이를 바탕으로 한 차례의 오류 분석과 프롬프트 수정 후, 네 번째 차례에서 평가 범주의 고품질 주석을 완료하였다. 마지막으로 역시 분석과 최적화를 거쳐 다섯 번째 차례에서 평가 출처 주석의 뚜렷한 일관성을 달성하였다. 연구 결과, 단계별 작업 분할, 오류 분석 기반 프롬프트 엔지니어링 및 정량 평가를 통한 반복 주석 절차를 통해 대규모 언어 모델이 고품질 주석 작업을 수행할 수 있음을 보여준다. 또한 본 연구는 다양한 복잡한 텍스트 의미 분석 작업에 대규모 언어 모델을 활용하기 위한 확장 가능한 인간-기계 협업 표준 절차를 구축하는 전이 가능한 주석 방안을 제시한다.

대규모 언어 모델;평가 공동 선택;대규모 언어 모델 지원 평가 대상 주석;대규모 언어 모델 지원 평가 범주 주석;대규모 언어 모델 지원 평가 출처 주석