研究论文 | 更新时间:2024-09-12
大语言模型辅助下基于词典的义项表生成及应用研究
葛晓帅 1 ,  王梦 2 *    作者信息&出版信息
语料库语言学   ·   2024年9月12日   ·   2024年 11卷 第1期  
4 2(CNKI)
PDF
该文暂无导航

AI 摘要

1 引言

语料库在语言研究中扮演着关键角色,其规模和检索工具经历了显著的发展。从最初的100万词次到现在的数百亿词次,检索工具也从专用软件如Xaira发展到通用软件如AntConc、WordSmith Tools、LancsBox,再到基于网络的第四代平台如CQPweb、Sketch Engine。这些工具的功能不断丰富,包括索引行、词表、多词序列表、关键词表、词频分布图、词云和词汇网络等,但核心思想始终基于频率。形符的定义可以灵活,包括单词和词性码的组合,以更精确地统计词频。语料库工具提供多种统计列表,如词表、词元表、多词序列表、搭配词表和主题词表,这些列表从不同角度反映语言单位的凸显程度。尽管语料库研究在形态和句法层面有深入,但在语义层面的研究相对较少,表明还有进一步研究的空间。

2 语料库相关的语义研究

深入探讨了自然语言处理和语料库语言学中语义研究的进展,特别关注了词义消歧的挑战和算法研究。研究指出,多义词的准确识别是自然语言理解的关键,而现有的义项标注语料库如SemCor和SenseDefs等,为词义消歧算法提供了训练和验证数据。同时,章节也讨论了语义标注的重要性,以及它如何提升词性附码、依存语法标注和自然语言推理等任务的表现。此外,章节还指出了现有语义标注工具和词典在义项常用度信息方面的不足,如海词词典的释义常用度分布图存在问题。最后,章节提出了基于词典的义项表的概念,探讨了大语言模型在生成义项表方面的潜力,并提出了三个具体的研究问题,旨在解决现有方法的局限性,提高多义词识别的准确性和实用性。

3 义项表的形式

讨论了义项表的构建形式,指出在语料库检索工具中,词表被视为字符串,相同字符串的词频会合并统计。在生成词性赋码表时,单词后添加词类信息以区分不同词性的词频。Wmatrix通过添加语义分类标签来区分不同语义场的用法。作者提出义项表应以“token_lemma_POS_senseNo.”的形式呈现,其中包含形符、词头、词性码和义项编号。这种形式有助于对屈折变化的词形进行合并统计。作者没有采用复杂的词类标签集,而是采用与词典一致的简化词类标签,以避免影响义项频率统计。基于《牛津高阶英语学习者词典(第10版)》的义项表应包含相应的词类标签。经过义项标注的语料可以用来统计每个单词在不同词类下各个义项的使用频率,形成义项表。如果关注语义层面,可以去除形符,仅保留“lemma_POS_SenseNo.”的形式。义项表的排序可以根据需求进行调整,以满足不同的研究需要。作者还提到,大语言模型在语义理解方面的优秀表现使其有潜力用于义项标注,以处理大规模语料。

4 大语言模型辅助的义项标注

大语言模型ChatGPT 4.0在义项标注任务中表现出色,优于3.5版。研究使用OALD10词典的义项库,通过Brown语料库进行测试,人工判断与模型判断对比。选取多义词时,对Brown语料库进行词性赋码,筛选出义项数量大于1的单词。人工判断采用双人模式,确保客观性。模型判断依赖于高质量的提示词,ChatGPT返回Python字典格式的结果。结果对比显示,ChatGPT的一致率和可接受率较高,尤其是实词,但连词和介词的一致率较低。冠词判断准确率低,可能与模型中表示不足有关。总体而言,ChatGPT在基于词典的义项判断中具有实用价值和高准确率。

5 义项表的应用

义项表在语义研究中具有重要价值,能够揭示词汇意义的历时变迁和空间差异。在词典编纂、语言教学、二语习得等领域均有应用。通过对比不同语料库的义项表,可以生成主题义项表,反映义项凸显度,用于词汇研究和话语分析。以名词"screen"为例,通过分析不同时期语料库中的义项分布,发现其语义变迁与电子设备普及率提升和语境变化有关。

6 结论

研究了基于词典的义项表生成,通过大语言模型辅助,提高了义项判断的准确性和泛化能力。义项表在多个领域具有应用价值,尤其在语义变迁研究中表现出色。尽管存在测试规模和模型限制,但随着技术进步,义项表的应用前景广阔。

* 以上内容由AI自动生成,内容仅供参考。对于因使用本网站以上内容产生的相关后果,本网站不承担任何商业和法律责任。

展开

当前期刊

当前期刊
    目录

    推荐论文

    • 言语行为理论视角下伊拉克战争中的冲突性话语分析

    • 澳门中文媒体的词汇演变——以《澳门时报》为例

    • MineDEAP矿业工程学术英语语料库的创建