Este estudo investiga o desempenho do design de agentes baseados em diferentes grandes modelos de linguagem na tarefa de avaliação automática de redações. Realizamos experimentos com agentes baseados no GPT-4-Turbo, DeepSeek-Chat e Gemini 1.5 Pro, projetando várias configurações de agentes baseadas em aprendizado zero-shot, few-shot e na estratégia de cadeia de pensamento, avaliando sua eficácia na avaliação. Os resultados mostram que o design de agente few-shot com a estratégia de cadeia de pensamento apresentou o melhor desempenho. Nessa configuração, os valores kappas quadráticos ponderados dos agentes baseados no GPT-4-Turbo, DeepSeek-Chat e Gemini 1.5 Pro foram 0,5706, 0,6516 e 0,7635, respectivamente, próximos ou superiores ao nível SOTA (state-of-the-art) atual baseado na técnica de fine-tuning. O estudo indica que, em comparação com a técnica de fine-tuning, agentes baseados em grandes modelos de linguagem não apenas apresentam desempenho superior na tarefa de avaliação automática de redações, mas também possuem adaptabilidade, flexibilidade e escalabilidade que a técnica de fine-tuning não oferece.

agentes;grandes modelos de linguagem;avaliação automática de redações