Cette étude examine la performance des conceptions d'agents basés sur différents grands modèles de langage dans la tâche d'évaluation automatique des compositions. Nous avons expérimenté des agents basés sur GPT-4-Turbo, DeepSeek-Chat et Gemini 1.5 Pro, conçu plusieurs configurations d'agents basées sur l'apprentissage sans échantillon, l'apprentissage avec peu d'échantillons et la stratégie de chaîne de pensée, et évalué leur efficacité d'évaluation. Les résultats montrent que la conception d'agent avec peu d'échantillons utilisant la stratégie de chaîne de pensée offre la meilleure performance. Dans cette configuration, les valeurs kappas quadratiques pondérées des agents basés sur GPT-4-Turbo, DeepSeek-Chat et Gemini 1.5 Pro étaient respectivement de 0,5706, 0,6516 et 0,7635, proches ou supérieures au niveau actuel SOTA (state-of-the-art) basé sur la technique de fine-tuning. L'étude indique que, comparés à la technique de fine-tuning, les agents basés sur les grands modèles de langage non seulement excellent dans la tâche d'évaluation automatique des compositions, mais possèdent également une adaptabilité, une flexibilité et une extensibilité que la technique de fine-tuning n'a pas.

agents;grands modèles de langage;évaluation automatique des compositions