语言与认知 | 更新时间:2024-11-06
大语言模型与人类语言对比研究
江铭虎 1 ,  王玉玲 2 *    作者信息&出版信息
语言与智能   ·   2024年11月6日   ·   2024年 1卷 第1期  
141 0(CNKI)
PDF
该文暂无导航

AI 摘要

1 引言

人类语言具有丰富的词汇量、复杂的语法结构和适应不同文体的表达能力,展现出高度的可变性。诺姆·乔姆斯基的句法结构理论为理解语言提供了新视角,但至今没有全面准确的语法。现代计算机技术,尤其是大语言模型(LLM),在文本生成、推理、问答等方面展现出显著能力,成为语言研究的新热点。本文将梳理LLM的发展历程和关键技术,特别是深度学习技术如何推动这一领域突破。然后深入对比LLM和人类在语言习得、理解以及底层加工机制方面的异同,并探讨LLM是否真正理解语言。本文旨在为理解LLM和人脑语言理解提供新视角,为未来研究和应用提供启示。

2 大语言模型的发展历程及关键技术

大语言模型的发展历程从20世纪中叶基于规则的系统和统计方法开始,逐步发展到21世纪深度学习技术的广泛应用。深度学习技术通过多层神经元网络进行特征提取和学习,尤其在2012年AlexNet在ImageNet竞赛中取得成功后,神经网络在句法分析、图像识别等领域得到广泛应用。神经机器翻译(NMT)采用端到端学习方式,使用循环神经网络(RNN)和长短时记忆网络(LSTM)等模型捕捉长距离依赖关系,减少对手工特征工程的需求。Transformer模型的出现进一步提高了句法分析性能,成为主要方法之一。近年来,联合训练和多模态翻译得到重视,迁移学习和强化学习等新兴统计学习方法也开始应用于模式识别领域。深度学习模型在多个领域取得显著成果,混合智能成为研究热点。LSTM、注意力机制、RNN和Transformer是处理序列数据的重要模型,具有记忆能力,通过数学建模和训练在计算机系统中实现模拟和应用。神经计算的发展使LLM得以兴起,尤其是深度学习、机器学习注意力机制、LSTM和基于Transformer的生成模型加速了LLM的广泛应用。2022年诞生的ChatGPT是一个基于LLM的聊天机器人,能够生成逼真的类似人类文本响应,解决了自然语言机器理解和生成的难题。ChatGPT使用深度学习技术从海量语料库中自动学习语言规则和上下文信息,根据输入信息和上下文信息生成自然流畅的文本。理解、知识回忆和推理随着模型规模和指令提示的调整而提高。GPT和BERT都是基于Transformer的预训练语言模型,采用预训练加微调的方法,使用词嵌入技术捕捉单词之间的语义关系。GPT更适宜生成式任务,BERT更适宜判别式任务。当训练语料规模中等及以下时,BERT的性能优于GPT,但训练语料的规模超大时情况相反。

3 大语言模型与人类语言对比分析

深入探讨了大语言(模型LLM)与人类语言处理之间的异同,从语言习得、语言理解和底层认知加工机制三个维度进行分析。在语言习得方面,LLM依赖于大规模数据训练,与儿童通过多模态感官体验学习语言的方式不同。LLM通过强化学习增强交互训练能力,模拟人类交流模式。研究发现,LLM的语言学习内容与句法结构关系不大,更多关注语义知识。在语言理解层面,LLM展现出类似人类的推理能力,尤其在抽象推理任务上表现超出预期。LLM在心智理论(ToM)测试中也表现出类人反应,但对任务条件变化的适应性不足,表明可能只是在模仿训练数据中的模式。在底层加工机制方面,LLM基于统计学习和概率预测,与传统生成语言学的离散规则形成对比。LLM的分级、概率计算方式与人类语言加工机制并不冲突,反而为理解人类语言处理提供新视角。总体来看,LLM在语言理解方面表现出较好的性能,但在深层次推理和语境识别方面仍不如人类。

4 大语言模型真能“理解”语言吗?

探讨了大语言模型(LLM)是否真正理解语言的问题。学术界对此有广泛讨论,一些专家认为随着模型参数和训练数据量的增加,LLM的性能正在显著提高,可能实现接近人类的智能和理解水平。他们认为MLL不仅能够真正理解语言,还能进行常规推理,尽管当前可能尚未达到人类水平。但也有观点认为,LLM无论表现得多么类人,都不具备真正的理解能力,因为它缺乏世界经验,只能获得表面层次的"理解"。此外,有学者指出人类容易陷入"伊莱莎效应",过度推断机器的理解力和自我意识。总的来说,LLM的"理解"建立在大量数据的统计模式识别上,这种"理解"超出了人类一般概念的理解。随着LLM规模和能力的增长,我们需要扩展智能科学的现有界限,对"理解"进行更广义的定义,既适用于人类认知,也适用于机器智能表现。LLM可以被认为是一种新型的"理解",能够带来超越人类预测能力的"理解"。

5 结语

梳理了LLM的发展历程和关键技术,对比了LLM与人类语言处理的相似之处与差异。指出LLM在特定语言任务上具有潜力,但并未替代人类语言能力。未来LLM发展应与人类认知和社会文化实践结合,在保障伦理和安全性的前提下发挥辅助作用。学界应探索LLM的可解释性和透明度,促进人机协作,推动语言科学和人工智能发展。深入研究LLM有助于理解机器语言处理能力,深化对人类语言复杂性的认识。

* 以上内容由AI自动生成,内容仅供参考。对于因使用本网站以上内容产生的相关后果,本网站不承担任何商业和法律责任。

展开

当前期刊

当前期刊
    目录

    推荐论文

    • 会话视角下大模型复杂指令回复质量的评估标准研究

    • GPT-4认知语言学专业能力评估——以概念隐喻理论为例