본 연구는 다양한 대형 언어 모델 기반 에이전트 설계가 작문 자동 평가 과제에서 보이는 성능을 탐구하였다. GPT-4-Turbo, DeepSeek-Chat 및 Gemini 1.5 Pro 기반 에이전트를 대상으로 실험을 진행하였으며, 제로샷 학습, 소수 샷 학습 및 사고 연쇄 전략을 기반으로 한 다양한 에이전트 구성을 설계하고 평가하였다. 결과는 사고 연쇄 전략을 적용한 소수 샷 에이전트 설계가 가장 우수한 성능을 보임을 나타내었다. 해당 구성에서 GPT-4-Turbo, DeepSeek-Chat 및 Gemini 1.5 Pro 기반 에이전트의 가중치 이차 카파 값은 각각 0.5706, 0.6516 및 0.7635로, 현재 미세 조정 기술 기반의 SOTA(state-of-the-art) 수준에 근접하거나 이를 능가하였다. 연구 결과는 미세 조정 기술과 비교하여 대형 언어 모델 기반 에이전트가 작문 자동 평가 과제에서 우수할 뿐만 아니라 미세 조정 기술이 결여한 적응성, 유연성 및 확장성을 갖추고 있음을 보여준다.

에이전트;대형 언어 모델;작문 자동 평가