研究综述 | 更新时间:2026-07-02
西夏文数字化的进程
孙森    作者信息&出版信息
语料库语言学   ·   2026年7月2日   ·   2026年 13卷 第1期  
0 0(CNKI)
PDF
该文暂无导航

AI 摘要

1 引言

界定了数字化的技术内涵,阐述了西夏文数字化的核心范畴与双重目标——文献保护与学科范式转型,并指出其面临的关键技术难题包括字符编码、自动识别、分词、机器翻译、知识图谱及数据库构建等。

2 西夏文的编码数字化

梳理了西夏文从发现到实现国际标准编码的完整历程。西夏文为党项族创制的方块表意文字,使用至明朝中期,1909年科兹洛夫在黑水城发现的大量文献推动了现代西夏学研究。早期学者如罗福苌、西田龙雄等借鉴汉字研究范式,对西夏文部首、结构进行系统分析,出土的多部字典为研究提供了内部材料。编码实践方面,1972年格林斯蒂德首倡方案但仅成"电报码";20世纪80年代末范德利姆与克平尝试电脑录入因技术限制中断;1996年中岛干起完成首个完整字库;1999年宁夏大学开发的系统因缺乏专业校核瑕疵较多,而台湾"中央研究院"字库因专家深度参与获国际认可。2007年Richard Cook提交Unicode提案,经中国专家修订及多国协作,西夏文于2016年纳入Unicode 9.0,共6,125字符,标志着西夏文信息基础设施建设取得关键突破。

3 西夏文的自动识别技术

介绍了西夏文光学字符识别技术的发展现状与研究进展。当前西夏文OCR处理平台相对稀缺,主要有中国社会科学院开发的"龙水西夏文识别软件"及印刷体识别平台。学界已基本进入基于深度学习的文字识别阶段,采用监督式学习模式,依赖大规模标注数据集进行神经网络训练。研究焦点已从单字识别转向复杂版式处理,包括文本行与区域检测、密集文本分割等关键环节。针对西夏文字笔画繁多、字形相似的特点,学者们提出了多种解决方案:孟一飞基于四角号码编码建立数据集并利用生成对抗网络扩展样本;张光伟借鉴成熟神经网络架构实现超98%识别准确率;刘佟、景诗云等分别采用CRAFT、PSENet、DS-CBAM-DenseNet、Res2Net等模型提升检测与识别性能。近年来研究正从依赖大量标注的监督范式向高效自学习范式转变,以应对文献资源的复杂性与稀缺性。这些技术进展显著推动了西夏文献的数字化研究。

4 西夏文的自动分词研究

讨论了西夏文自动分词研究的必要性与可行路径。分词作为自然语言处理的基础环节,对词性标注、命名实体识别等下游任务具有重要价值,而西夏文该领域尚属空白,需借鉴汉语与藏文经验。汉语自动分词经历了统计学习模型(HMM、CRF)、深度学习模型(BiLSTM-CRF)到预训练语言模型(BERT、LEBERT)的发展阶段,目前大语言模型在跨语言典籍分词中展现出潜力。藏语自动分词因"音节分写、词语连写"的特殊结构面临独特挑战,经历了基于规则、统计方法、规则与统计结合到深度学习及预训练模型的演进,《信息处理用藏文分词规范》的制定为其规范化提供了关键支撑。西夏语自动分词研究目前处于起步阶段,已基于"四行对译"添加第五行进行人工分词标注,完成约25,000字世俗与宗教文献标注,未来计划采用统计模型、深度学习模型及预训练模型三种路径构建分词系统。

5 西夏文数字化研究的未来

探讨了西夏文数字化从字符图像识别向计算认知跃迁的发展路径。当前首要任务是建设层级化数字语料体系,包括基础数据(高清影像及元数据标准)与标注材料(四行对译或隔行对照格式)两方面,但多数单位因缺乏大规模已解读文献数据而进展受阻。未来优先任务包括自动分词、词性标注、命名实体识别,以构建计算语料库支撑语言学研究;结合GIS与知识图谱构建西夏文化数字地图和时空知识本体,实现音韵、语义、部件、语法等信息的结构化表示。技术层面需发展结构化视觉建模,融合视觉Transformer与图卷积网络,并推进多模态语义融合,整合图像、声音、跨语言文本等数据,最终实现从"视觉识别"到"语义理解"的智能跃迁,为冷门学科复兴提供传统文献学与数字人文技术双轮驱动的解决方案。

* 以上内容由AI自动生成,内容仅供参考。对于因使用本网站以上内容产生的相关后果,本网站不承担任何商业和法律责任。

展开

当前期刊

当前期刊
    目录

    推荐论文

    • 《功能性译者风格研究:语料库辅助研究法》述评

    • 智能评估嵌入翻译过程:设计与应用初探

    • 基于文本挖掘的国家生态发展观探究:以“十四五”规划英译文本为例