Évaluation des compétences professionnelles de GPT-4 en linguistique cognitive - sur la base de la théorie de la métaphore conceptuelle
CAI Yuchen
,
WANG Fufang
,
DOI:
摘要
Avec le développement rapide de la technologie de l'intelligence artificielle et du traitement du langage naturel, les modèles de langage de grande envergure tels que ChatGPT ont fait des progrès significatifs dans la compréhension du langage et la génération de langage naturel. Cependant, la plupart des recherches se concentrent d'abord sur les performances des grands modèles de langage dans des tâches spécifiques plutôt que sur l'évaluation des capacités cognitives. De plus, il existe actuellement un manque de recherches évaluatives sur les connaissances et compétences spécialisées en matière de grands modèles de langage dans le milieu universitaire. Cette étude a mené une évaluation globale des capacités cognitives de GPT-4 par rapport à le cadre théorique important de la linguistique cognitive - la théorie de la métaphore conceptuelle. L'évaluation a été décomposée en quatre niveaux, comprenant la compréhension des termes clés, la compréhension du cadre théorique, l'application du cadre théorique ainsi que la capacité de pensée de haut niveau. Les résultats de l'étude montrent que bien que le modèle présente des avantages dans certaines tâches spécifiques, il souffre de fluctuations de performance, de lacunes dans les connaissances spécialisées approfondies en linguistique cognitive, et ne parvient actuellement pas au niveau des chercheurs en linguistique cognitive débutants. Les chercheurs doivent vérifier manuellement le contenu généré lors de l'utilisation de grands modèles de langage pour obtenir des résultats plus satisfaisants.
关键词
ChatGPT; GPT-4; Grand modèle de langage; Théorie de la métaphore conceptuelle; Métaphore conceptuelle