Diese Studie untersucht die Leistung von Agentendesigns basierend auf verschiedenen großen Sprachmodellen bei der automatischen Bewertung von Aufsätzen. Wir führten Experimente mit Agenten durch, die auf GPT-4-Turbo, DeepSeek-Chat und Gemini 1.5 Pro basieren, entwarfen mehrere Agentenkonfigurationen basierend auf Zero-Shot-Lernen, Few-Shot-Lernen und Chain-of-Thought-Strategien und bewerteten deren Bewertungseffektivität. Die Ergebnisse zeigen, dass das Few-Shot-Agentendesign mit Chain-of-Thought-Strategie die beste Leistung erbringt. Unter dieser Konfiguration lagen die gewichteten quadratischen Kappa-Werte der Agenten basierend auf GPT-4-Turbo, DeepSeek-Chat und Gemini 1.5 Pro bei 0,5706, 0,6516 bzw. 0,7635 und erreichten oder übertrafen damit das aktuelle SOTA (state-of-the-art)-Niveau, das auf Feinabstimmung basiert. Die Studie zeigt, dass Agenten auf Basis großer Sprachmodelle nicht nur in der automatischen Aufsatzbewertung hervorragende Leistungen erbringen, sondern auch die Anpassungsfähigkeit, Flexibilität und Skalierbarkeit besitzen, die Feinabstimmungstechniken fehlen.

Agenten;große Sprachmodelle;automatische Aufsatzbewertung