测试、评价与评估 | 更新时间:2024-09-06
变革时代中计算机与纸质写作测试评分及结果效度证据的分析
瓜帕查-查莫罗 玛丽亚· ,  查韦斯-维伦 奥兰多·    作者信息&出版信息
中国应用语言学(英文)   ·   2024年9月6日   ·   2024年 47卷 第3期   ·   DOI:10.1515/CJAL-2024-0305
0 0(CNKI)
PDF
该文暂无导航

AI 摘要

1.导言

本文介绍了评估模态(AM)的概念及其对写作测试的影响,重点介绍了评分和结果效度。它讨论了AM对语言教师在英语作为外语(EFL)写作评估中的感知、偏好和分数的影响。本研究旨在根据语言教师的评分、对文本质量的看法和偏好,检验基于计算机(CB)和基于纸张(PB)的写作测试的评分和相应有效性证据。本研究探讨了AM对语言教师的影响,以及CB和PB写作测试在课堂评估中的有效性和公平性。

2.文献综述

本章讨论了评估模式对二语评估中评分者可靠性的影响,考察了评分者对计算机(CB)和纸质(PB)文本的看法和偏好,并确定了对二语课堂写作评估中的评分和结果效度进行研究的必要性。本章还重点介绍了之前关于评估方式对评分者可靠性影响的研究结果,并提供了评估方式对学生写作评估影响的证据。

3.用于验证写作测试成绩的社会认知框架

本章描述了一个用于验证写作测试表现的社会认知框架,重点关注评分和结果效度证据的意义。评分有效性对测试分数的可靠性至关重要,涉及评分条件、评分者特征和评分者可靠性。本章讨论了评估方式、评分者的经验和可靠性等各种因素如何影响评分过程。结果效度包括对课堂教学和学习的反拨效应、对机构和社会的影响以及避免考试偏见。本研究旨在了解评估方式对英语课堂写作评估中评分者的评分、感知和偏好的影响。

4.方法

本章介绍了研究地点和参与者、研究设计和研究中使用的程序。这项研究是在哥伦比亚的一个外语教师教育项目中进行的,有38名二年级大学生参加。研究设计采用混合方法收集定性和定量数据。设计、试行和验证写作任务和评分量规,以确保其有效性和可靠性。精心收集写作样本和转录过程,以保持原始文本的完整性。评分过程和审核环节用于提高评分可靠性,并对评分者进行访谈,以收集他们对文本质量的看法和对评估模式的偏好。

5.结果

小写字母,但很明显,两种模式都存在同样的错误。相比之下,打字文本似乎包含更多的拼写错误。索尼娅和教师研究员同意朱利安的观点,在打字文本中看到了更多的拼写和大写错误。他们还报告说,在打字文本中看到了更多的标点错误和段落问题。

6.讨论

本章讨论了CB和PB写作测试的评分和相应有效性证据。它研究了评估模式如何影响评分者的评分、对文本质量的感知以及对评估模式的偏好。结果表明,评分者对手写文本的原始和转录版本都给予了更高的分数,对文本组织和语言使用给予了更大的分数,这表明他们对手写文本更宽容。评分者对文本质量的看法因文本而异,他们对AM的偏好也不同。证据表明,AM会影响评分者的评分、感知和偏好。这项研究对CB和PB写作测试的评分和结果效度有影响,表明AM可以影响写作测试的得分效度,并影响评分者对文本的评分和感知。

7.结论

该研究得出结论,计算机和纸质写作测试对评分者的影响不同,评估模式可能会威胁到课堂写作评估的有效性和公平性。为了准确解释和使用测试分数,语言教师需要通过他们的分数、感知和偏好来收集和检查写作测试的有效性和公平性证据。该研究还承认了一些局限性,例如样本量小,缺乏对每个评分者的单独分析。需要进一步的研究来调查评分者内部的可靠性和评分者对评估方式的认知。Shaw和Weir(2007)的社会认知框架和混合方法研究有助于检验CB和PB写作测试的评分和结果效度证据,鼓励进一步的研究复制本研究,以确认或否定该测试验证框架的结果和有用性。

* 以上内容由AI自动生成,内容仅供参考。对于因使用本网站以上内容产生的相关后果,本网站不承担任何商业和法律责任。

展开

当前期刊

当前期刊
    目录