Mit der raschen Entwicklung der künstlichen Intelligenz und der Verarbeitung natürlicher Sprache haben große Sprachmodelle wie ChatGPT signifikante Fortschritte im Verständnis von Sprache und der Generierung natürlicher Sprache erzielt. Dennoch konzentrieren sich die meisten Forschungen zunächst auf die Leistung großer Sprachmodelle in spezifischen Aufgaben anstelle der Bewertung kognitiver Fähigkeiten. Darüber hinaus fehlt der akademischen Gemeinschaft derzeit die Bewertungsforschung zu spezialisierten Kenntnissen und Fähigkeiten im Bereich großer Sprachmodelle. Diese Studie führte eine umfassende Evaluierung der kognitiven Fähigkeiten von GPT-4 im Hinblick auf den wichtigen theoretischen Rahmen der kognitiven Linguistik - der Theorie der konzeptuellen Metapher - durch. Die Evaluation erfolgte auf vier Ebenen, darunter das Verständnis von Schlüsselbegriffen, das Verständnis des theoretischen Rahmens, die Anwendung des theoretischen Rahmens sowie die Fähigkeit zum hochrangigen Denken. Die Studienergebnisse zeigen, dass das Modell, obwohl es in bestimmten spezifischen Aufgaben Vorteile aufweist, unter Leistungsschwankungen leidet, über mangelndes tiefgreifendes Fachwissen und Fähigkeiten in der kognitiven Linguistik verfügt und derzeit nicht das Niveau von Anfängern in der kognitiven Linguistik erreicht. Forscher sollten den Inhalt, der von großen Sprachmodellen generiert wird, manuell überprüfen, um zufriedenstellendere Ergebnisse zu erzielen.

ChatGPT; GPT-4; Großes Sprachmodell; Theorie der konzeptuellen Metapher; Konzeptuelle Metapher