本研究は複雑な意味分類タスクにおける大規模言語モデルの実用的な応用に焦点をあて、「一帯一路」イニシアチブのニュース言説を例に、評価の源、評価の範疇、および評価対象の共同選択注釈パスを通じて、人間と機械の協調評価注釈手法を設計および検証した。本手法は全体のタスクを三段階に分割し、五回のラウンドで実施する。まず二回の評価対象注釈における誤り分析とプロンプトの最適化により、三回目のラウンドで比較的満足できる注釈結果を得た。これを基に、誤り分析とプロンプト修正を一回行い、四回目のラウンドで評価範疇の高品質注釈を完了した。最後に同様に分析と最適化を経て、五回目のラウンドで評価源注釈の顕著な一致性を実現した。研究結果は、段階的タスク分割、誤り分析に基づくプロンプト工学、および量的評価による反復注釈プロセスを通じて、大規模言語モデルが高品質な注釈タスクを完遂できることを示している。さらに本研究は、大規模言語モデルを活用した各種複雑なテキスト意味解析タスクに向けた、拡張可能な人機協調標準プロセスを確立する移転可能な注釈スキームも提供する。

大規模言語モデル;評価共同選択;大規模言語モデル支援の評価対象注釈;大規模言語モデル支援の評価範疇注釈;大規模言語モデル支援の評価源注釈