faGLOBE波斯语平衡语料库是北京外国语大学全球语料库集群中首个非通用语种语料库,专注于现代波斯语书面语料的收集。波斯语是伊朗和塔吉克斯坦的官方语言,也是阿富汗的主要语言之一,属于印欧语系,使用32个字母的拼音文字。现有波斯语语料库广泛应用于语言学研究、教学和人工智能开发。例如,Peykare共时语料库、专用语料库如通讯社标题语料库、学习者语料库、句法语料库、口语语料库等,以及波斯手写离散字母数据库等。
faGLOBE语料库总容量约100万词,主要收集2010至2022年间的文本,采用布朗语料库模式,与Crown和CLOB等布朗家族语料库具有可比性。语料库包含生语料版本,提供词频表与短语列表,已上传至北外多语种语料库平台。语料类型分为信息类和虚构类,涵盖新闻、通用、学术和小说体裁,共500篇约2,000词文本。与原始布朗语料库相比,faGLOBE调整了语料类别以适应对象国国情和文化,如替换“冒险或西部小说”为“历险悬疑小说”,“教科书”为“学术”,“混杂的文本”为“政府或机构公文及文宣”等。faGLOBE语料库的底层文本时效性强、内容丰富,包含新闻和大量虚构性文本,反映了当代波斯语的特点。语料采集工作包括文本收集与取样、文本录入和元信息标注等环节。
faGLOBE语料库1.0版本主要收集伊朗本土原创波斯语文本,不包括翻译文本。语料库扩大了收集时间范围,新闻类语料多为2022年最新报道,其他体裁文本首次出版时间多为近十年。语料库在建库过程中兼顾了语料的来源和主题多样性,包括多家伊朗本土媒体和不同学科的学术语料。文本录入时,语料库所收文本长度为2,000词左右,短文本则拼合多篇同类型语料。所有语料经过人工校对,以UTF-8编码格式储存为txt文本文件。faGLOBE语料库包含500个2,000词长度的文本,共存储为798个语料子文件,文件名包含语种代码、体裁编码、数字编号和字母编号。语料库还以Excel表格形式记录元信息标注,包括文件编号、文本类型、文本数、词数、作者、出版年份、出版社或报刊名称、语料收集人、文章或书籍标题和网址出处等10项基本信息。
faGLOBE语料库(1.0版)为波斯语学习者提供了丰富的学习资源,包括新闻报道、社论、宗教、传记、科技、公文等15个类别的文本,有助于扩展语言知识、增强自主学习能力。教师可利用词频功能进行词汇教学、大纲词汇选择和辅助教学,同时作为教学工具,展示大量语料和实例,帮助学生掌握词汇语义和使用规律。语料库对语言学研究具有重要价值,研究者可通过词频和搭配功能分析波斯语词汇分布、语体变化趋势、词丛等,了解词汇搭配的常见形式和规律。未来,faGLOBE语料库将进行词形还原、词性赋码、句法标注和语义标注等深层处理,提供不同版本的语料,以更好地识别单词在语境中的含义。
faGLOBE语料库为首个波斯语语料库,旨在通过真实语言数据研究波斯语,促进对伊朗多方面认识的深化。强调资源共建共享,技术创新,丰富内容和使用方式,以支持波斯语教学和伊朗研究。
* 以上内容由AI自动生成,内容仅供参考。对于因使用本网站以上内容产生的相关后果,本网站不承担任何商业和法律责任。