1 缘起

回顾了作者24年前发表的关于语言规划的文章，并介绍了语言规划的概念及其发展。文章指出，语言规划的定义随着社会的发展和研究的深入而不断变化，但其基本特征是限定主义。语言规划具有社会性、权威性、交际目的性、长期性、实践性和数据导向性等特点。作者还提到了语言规划的两个主要方面：地位规划和本体规划。此外，作者强调了语言文字资源规划的重要性，并提出了在大数据时代对语言文字资源进行规划的必要性。文章通过举例说明了文本数据挖掘在新知识发现中的重要作用，并呼吁关注和研究语言文字资源规划。

2 语言资源的规模对于机器翻译的影响

随着互联网的多语言化，大数据时代的到来，语言数据资源成为机器翻译的关键。2019年互联网上使用最多的十种语言包括英语、中文、西班牙语等，而全球数据量以每年约40%的速度增长，预计2035年将达到2,142ZB。中国产生的数据量约占全球的五分之一，网民数量从2000年的2,250万增长至2022年的近11亿，互联网渗透率显著提高。机器翻译需求随之增加，但中国翻译能力不足，翻译市场规模虽大，但国内翻译公司只能消化约10%。机器翻译质量与语言数据资源规模密切相关，神经机器翻译尤其依赖大规模数据资源。主流语言因数据资源丰富，神经机器翻译效果较好，但非主流语言和专业领域因数据资源匮乏，翻译质量难以保证。中国少数民族语言和专业翻译领域也面临数据资源不足的问题。因此，加强语言数据资源的获取、使用和管理，开展语言文字资源规划研究，对提升机器翻译质量至关重要。

3 语言资源的规模对于大语言模型的影响

大语言模型（LLM）是深度神经网络构建的语言模型，包含数百亿以上参数，基于丰富的语言数据资源，使用自监督学习方法进行训练。自2018年以来，多家公司和研究机构发布了多种大语言模型，如BERT、GPT等，在自然语言处理（NLP）任务中表现出色。大语言模型的规模和语言数据资源的规模对自然语言处理的效果有显著影响。N元语法为大语言模型提供了理论支持，高阶N元语法能提高系统质量。谷歌、OpenAI等公司推出的大语言模型，如ChatGPT和GPT-4，展现了强大的自然语言理解和生成能力。

大语言模型的发展可分为初创、探索和突破三个阶段。初创阶段（2018-2020年）主要研究语言模型本身，探索阶段（2020-2022年）研究如何充分发挥大语言模型的能力，突破阶段（2022年11月至今）以ChatGPT的发布为标志，大语言模型展现出近乎通用人工智能的能力。

"规模法则"指出，语言模型的性能依赖于模型的规模，包括计算量、数据集大小和参数量。模型效果随规模增大而提高，损失值随规模增大而降低。这为提升大模型性能提供了定量分析依据。大语言模型的语言数据资源越丰富，训练的参数越多，性能越好。

GPT系列模型利用Transformer架构，从大规模语言数据资源中获取语言知识，在语言生成任务上达到高水平。随着语言数据资源的增加，词向量长度和参数量也增加。当训练参数达到500亿时，系统会出现"涌现"现象，性能指标显著提升，接近人类自然语言水平。

总之，大语言模型的发展离不开大规模的语言数据资源。只有不断增加语言数据资源的规模，才能推动大语言模型性能的持续提升，更好地理解和生成自然语言。

4 大数据时代语言文字资源规划的四个问题

在大数据时代，语言文字资源规划面临四个主要问题：首先，需要加强大语言模型的对齐工作，确保其输出和行为与人类期望和价值相符，以应对潜在的伦理风险和威胁。其次，中文语言资源建设需加强，以打破数据孤岛，提升中文在大语言模型中的表现。第三，语言数据资源的知识产权保护需加强，以促进资源的有序流通和有效利用。最后，低资源语言的资源建设也应得到重视，以支持这些语言的大语言模型开发。此外，国内外已提出一系列大语言模型治理办法和倡议，显示了对语言文字数据资源使用和管理的广泛关注。相关法规和倡议的出台，如《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》、《全球人工智能治理倡议》等，为大语言模型的治理提供了指导和框架。同时，大语言模型的治理已成为全球共识，强调了在追求知识和能力提升的同时，关注价值对齐的重要性。