人工知能や自然言語処理技術の急速な発展とともに、ChatGPTを代表とする大規模言語モデルは、言語理解と自然言語生成の面で著しい進歩を遂げています。しかしながら、ほとんどの研究は大規模言語モデルの特定のタスクにおける適用性能に焦点を当てており、認知能力の評価ではありません。さらに、現在、大規模言語モデルに関する学際的な専門知識と能力の評価研究が不足しています。本研究では、GPT-4の認知言語学における重要な理論フレームワークである「概念隠喩理論」の認知能力を包括的に評価しました。評価は、コア用語の理解、理論フレームワークの理解、理論フレームワークの適用、および高次の思考能力という4つのレベルを中心に展開しています。研究結果は、特定のタスクでは優位性がある一方で、パフォーマンスの変動や体系的で深い認知言語学の専門知識と能力の不足などの制限が存在し、現在では初級の認知言語学研究者のレベルには達していないことを示しています。大規模言語モデルを使用する際は、生成された内容を人間が確認する必要があり、そうすることで比較的満足できる結果を得ることができます。

ChatGPT;GPT-4;大規模言語モデル;概念隠喩理論;概念隠喩