1 引言

讨论了人工智能和自然语言处理技术的进步，特别是大语言模型（LLM）在理解和生成自然语言方面取得的成就。提到了Liu et al.（2023）对ChatGPT在不同领域的评估，指出当前研究多关注LLM的应用效果，而缺乏对其学科专业知识能力的评估。本研究旨在综合评估LLM在认知语言学核心框架“概念隐喻理论”的专业能力，将从知识、理解、应用和批判性思考四个层次进行系统评估。

2 ChatGPT应用能力评估相关研究

讨论了ChatGPT在自然语言处理任务中的表现和局限性。研究表明，ChatGPT在文本生成和理解、对话问答等方面表现出色，但在逻辑推理、非文本推理和常识推理等方面存在不足。在数据标注方面，ChatGPT的表现接近人类水平，能有效辅助语料标注工作。然而，作为闭源产品，ChatGPT在透明度、可复现性等方面存在缺陷。此外，ChatGPT对自然语言的理解尚有不足，尤其在隐喻分析方面。目前关于ChatGPT的研究主要集中在其基本能力上，涉及隐喻分析的研究较为有限。本文将系统评估ChatGPT在认知语言学核心理论"概念隐喻理论"方面的专业能力。

3 概念隐喻理论基本原理

概念隐喻理论（CMT）是认知语言学的核心理论，由Lakoff和Johnson提出，认为隐喻是基本的思维模式和概念的认知系统结构。该理论描述了源域向目标域的概念映射，将源域的结构化特征投射到目标域，形成抽象概念。概念映射基于体验性经验，根植于人类与环境的互动。CMT揭示了隐喻在认知中的核心作用，展示了语言如何通过具体经验组织和理解抽象概念。该理论对语言学、心理学、认知科学和人工智能等领域具有重要意义。本研究以CMT为例，评估GPT-4在认知语言学领域的专业能力，特别是隐性喻语言的识别能力和概念隐喻的抽象能力。

4 ChatGPT的创建机制及内在局限性

介绍了ChatGPT的创建机制，包括其基于GPT的LLM特性、生成式模型、Transformer架构和自注意力机制，以及预训练方法和微调过程。强调了GPT在理解和生成自然语言方面的能力，以及其“涌现”能力，如对话、推理和跨任务泛化。同时，指出了ChatGPT的内在局限性，如不可解释性、数据不透明性、数据实时性问题、“涌现”能力的争议、安全性问题、数据可靠性和合法性问题，以及指令设计优化的需求。讨论了GPT-4-turbo的数据更新限制、对实时信息访问的需求、对“涌现”能力理解的挑战、LLM可能的欺骗行为、数据可靠性和合法性问题，以及指令设计对输出结果的影响。最后，强调了研究者在使用GPT-4进行认知语言学研究时需要认识到的局限性，并采取适当措施以确保研究结果的可靠性和有效性。

5 GPT-4认知语言学专业能力评估

本章节详细评估了GPT-4在认知语言学专业能力方面的表现，特别是以概念隐喻理论为评估对象。评估框架基于Bloom的认知目标分类，将认知目标分为知识、理解、应用和批判性思考四个层次。评估任务设计覆盖了从基础理解到复杂应用的不同难度级别。

在知识层面，GPT-4对概念隐喻理论的核心术语理解能力进行了评估。初级问题中，GPT-4对“概念隐喻”的定义不够准确，未能完全揭示概念隐喻对概念系统认知模式的作用，且忽略了理论的新发展。中级问题中，GPT-4对概念隐喻的可见性判断正确，但解释不准确，未能深刻理解概念隐喻作为基本认知模型的本质。高级问题中，GPT-4在隐喻分类任务中出现错误，且在解释特定概念隐喻时未能完全揭示其体验基础。

在理解层面，GPT-4对概念隐喻理论基本原理的理解能力进行了评估。初级任务中，GPT-4对概念隐喻背后的认知机制理解不准确。中级任务中，GPT-4未能理解概念隐喻的多层级性。高级任务中，GPT-4对特定概念隐喻所包含层级的理解不准确，未能基于参考内容提示给出回答。

在应用层面，GPT-4对概念隐喻理论的应用能力进行了。评估初级层面主要评估了GPT-4对隐喻性语言的识别能力。在人工辅助下，GPT-4的隐喻识别精确度、召回率和F1值表现良好，但在单独识别时性能较差。高级层面主要评估了GPT-4对日常隐喻经验背后概念隐喻的指认与抽取能力。GPT-4在解释特定语言现象背后的概念隐喻时表现较差，未能识别准确目标域和源域之间的概念映射。

综上所述，GPT-4在概念隐喻理论的知识、理解和应用层面均表现出一定的专业能力，但也存在明显的局限性。在知识层面，GPT-4对核心术语的理解不够准确和全面。在理解层面，GPT-4对概念隐喻理论的深层原理理解不足，未能把握多层级性。在应用层面，GPT-4对隐喻性语言的识别能力依赖人工辅助，对概念隐喻的抽取能力也不够准确。这些局限性表明GPT-4在认知语言学领域的专业能力还有待进一步提高。

6 总结

综合评估了GPT-4在概念隐喻理论框架下的认知语言学专业能力，包括知识、理解、应用和批判性思考四个层次。研究发现，GPT-4在知识层次上对核心术语理解能力不合格，知识系统陈旧；在理解层次上对理论框架理解能力同样不合格；在应用层次上对隐喻性语言识别表现较好，但概念隐喻抽取能力差；在批判性思考层次上输出结果泛泛而谈，未触及核心问题。总体来看，GPT-4在处理抽象和复杂任务时表现较差，存在依赖预训练数据、性能波动和缺乏自主推理能力等局限性，达不到初级认知研究语言学者水平，使用时需人工核对。