В данном исследовании рассматривается эффективность дизайна агентов на основе различных крупных языковых моделей в задаче автоматической оценки сочинений. Мы провели эксперименты с агентами, основанными на GPT-4-Turbo, DeepSeek-Chat и Gemini 1.5 Pro, разработали несколько конфигураций агентов, основанных на обучении без примеров, обучении с малым числом примеров и стратегии цепочки рассуждений, и оценили их эффективность. Результаты показали, что дизайн агента с малым числом примеров и стратегией цепочки рассуждений демонстрирует наилучшие результаты. При этой конфигурации взвешенные квадратичные значения каппа для агентов на основе GPT-4-Turbo, DeepSeek-Chat и Gemini 1.5 Pro составили соответственно 0.5706, 0.6516 и 0.7635, что близко или превосходит современный уровень SOTA (state-of-the-art), основанный на технике дообучения. Исследование показывает, что агенты на основе крупных языковых моделей не только превосходно справляются с задачей автоматической оценки сочинений, но и обладают адаптивностью, гибкостью и масштабируемостью, которых не хватает технике дообучения.

агенты;крупные языковые модели;автоматическая оценка сочинений