본 연구는 문항반응이론에 기반하여 전문가 주도, AI 생성, 인간-기계 협동의 세 가지 문항 출제 방식에 따른 영어 선택형 독해 테스트의 타당도를 비교하여 AI 출제 능력의 한계와 인간-기계 협동의 가능성을 평가하였다. 결과는 다음과 같다: 1) 내용 타당도에서는 전문가 시험지가 가장 우수하였고, 인간-기계 협동 시험지는 가장 만족스럽지 못했다; 2) 구조 타당도에서는 전문가 시험지의 신뢰도가 가장 높았으며, 구성타당도도 인간-기계 협동 시험지와 AI 시험지보다 유의하게 뛰어났다; 3) 준거 관련 타당도에서는 전문가 시험지만이 CET-4 성적과 유의한 상관관계를 보였고, 인간-기계 협동 시험지와 AI 시험지는 효과적인 예측력을 나타내지 못했다. 연구 결과, "전문가가 문항을 설계하고 AI가 선택지를 생성하는" 협동 방식은 문항 질을 향상시키지 못하고 오히려 하락 추세를 보였으므로, 인간-기계 협동 패러다임을 재구성하고 "AI 1차 선별 - 전문가 최적화"와 같은 새로운 협력 메커니즘을 탐색할 필요가 있다.

인간-기계 협동 출제;타당도;영어 독해 테스트;선택형