研究论文 | 更新时间:2025-03-03
基于机器学习的文本多维度英语写作评测模型探究
黎曜玮 * ,  李良炎    作者信息&出版信息
语料库语言学   ·   2025年3月3日   ·   2024年 11卷 第2期  
1 0(CNKI)
PDF
该文暂无导航

AI 摘要

1 引言

近年来,信息技术在教育领域的应用推动了外语教学模式的发展。自动写作评分(AES)技术为学习者提供动态自动评分和个性化技能指导。国内句酷批改网在线平台的自动评分信效度受到研究,其反馈有效性得到验证,有助于提升学生作文质量和自主写作能力。随着人工智能在外语教育中的普及,自动评分算法框架的透明度、可解释性和预测率不断被验证和迭代。自动写作评分模型融合了自然语言处理、机器学习等技术,从表层语言特征到深层语义内容进行评分预测。尽管神经网络范式的评分算法在模型表现上有所提高,但仍存在解释性低、特征维度少等问题。未来的评分模型应基于多维度文本特征选取,构建高质量的写作评分模型。

2 文献综述

自动作文评分模型的研究主要分为传统范式、深度神经网络范式和预训练范式三类。传统范式依赖于多元线性回归等机器学习模型和人工选取的文本特征指标,而深度神经网络范式通过LSTM或CNN等模型自动学习作文特征,实现端到端评分。预训练范式利用预训练语言模型进行微调,但在自动写作评分任务中优势不明显。多维度文本复杂度量化特征包括语言复杂度、语篇复杂度和命题复杂度,涉及语法拼写错误、语音复杂度、词素复杂度、词汇复杂度、句法复杂度和语篇连贯等方面。本研究选取了327项文本特征指标,使用GAMET、TAMMI、TAALED、L2SCA和TAASSC等工具计算语言错误、语素复杂度、词汇复杂度、句法复杂度和语篇连贯性指标,以构建多维度英语写作评测模型。

3 研究设计

本章节介绍了基于机器学习的自动写作评分模型的研究设计。研究使用ASAP数据集中的议论文作文数据集,共1783篇,包括训练集、测试集和验证集。作文评分范围为2-12分,平均字数150-650字,每篇作文最多3人评阅。研究使用多元线性回归模型和327项文本特征指标进行训练和模型构建,旨在回答模型拟合优度、预测准确率和影响作文评分的文本特征等问题。研究步骤包括下载数据集、提取作文文本、计算327项语言复杂度计量特征、构建多元线性回归模型、选取重要特征和生成自动评分模型算法,最后使用QWK算法计算机器评分与人工评分的一致性。

4 数据分析与结果

本章节分析了基于机器学习的英语写作评测模型。多元线性回归模型在22次迭代后显示模型构建成功,具有较高的拟合优度,解释了74.3%的人工评分成绩变异。与前人研究相比,本研究模型的预测率排名第二,QWK值为0.835,接近最高值0.836,显示模型具有较高的自洽性。在文本复杂度指标分析中,22项指标被纳入模型参数,覆盖语言错误、语素、词汇、句法和语篇连贯等多个层面,表明作文成绩受多维文本复杂度影响。细颗粒度句法指标和短语复杂度指标在预测写作质量上更为有效。本研究还提供了自动评分模型的矩阵算式,为未来研究构建自动评分模型提供了理论参考。

5 结论

本研究自动评分模型拟合优度好,解释性强,成绩预测准度高;模型计算的重要文本复杂度指标具有多维性。启示外语智能评测应考虑多维度文本特征,探索深层次多模态模型架构,注重模型可解释性,识别写作元素和技巧,考虑写作目的和语境影响,加强格式和结构评估,关注公平性问题,与教学融合促进写作能力培养。

* 以上内容由AI自动生成,内容仅供参考。对于因使用本网站以上内容产生的相关后果,本网站不承担任何商业和法律责任。

展开

当前期刊

当前期刊
    目录