本研究は、項目反応理論に基づき、専門家主導、AI生成、および人間と機械の協働という三つの問題作成モードにおける英語の選択式読解テストの妥当性を比較し、AI命題能力の限界と人間と機械の協働の可能性を評価した。結果は以下の通りである。1）内容妥当性では専門家作成の試験が最も優れており、人間と機械の協働試験が最も芳しくなかった。2）構造妥当性では専門家試験の信頼性が最も高く、構成概念の適合度は人間と機械の協働試験およびAI試験を有意に上回った。3）基準関連妥当性では、専門家試験のみがCET-4成績と有意に相関し、人間と機械の協働試験およびAI試験は有効な予測力を示さなかった。研究は、「専門家による問題設計＋AIによる選択肢生成」の協働モデルが命題の質を向上させることはなく、むしろ低下傾向を引き起こしたことを明らかにし、人間と機械の協働パラダイムの再構築や「AIによる一次選別－専門家による最適化」などの新しい協働メカニズムの模索が急務であることを示唆している。

人間と機械の協働による問題作成;妥当性;英語読解テスト;選択式