VEXMLM：扩展Ge'ez文字非洲语言词表的突破

2026年7月18日

引言：低资源语言的词表困境

多语言预训练语言模型（PLMs）在非拉丁文字的低资源语言上表现显著下降。这一现象的核心原因之一是拉丁文字中心的tokenizer训练方式，导致高OOV（Out-of-Vocabulary，词汇表外）率和过度的子词碎片化问题。

2026年7月16日，Hailay Kidu Teklehaymanot、Debela Desalegn Yadeta和Wolfgang Nejdl在arXiv上发表了论文2607.15209，提出了一种名为VEXMLM的解决方案——这是XLM-R的词表扩展变体，专门针对使用Ge'ez文字的非洲语言进行优化。

技术方法：三步扩展策略

1. 构建语言特定Tokenizer

研究团队在精心策划的阿姆哈拉语（Amharic）和提格里尼亚语（Tigrinya）单语语料库上训练了语言特定的SentencePiece tokenizer。这两种语言是使用Ge'ez文字的最高资源非洲语言。

2. 扩展词汇表与嵌入初始化

词汇扩展：从上述tokenizer中提取并扩展XLM-R的词汇表，新增30,000个Ge'ez文字子词。
嵌入初始化：采用XLM-R原始tokenizer下各组成子词的嵌入平均值来初始化新子词的嵌入向量。

3. 两阶段训练策略

阶段	任务	说明
第一阶段	继续掩码语言建模（MLM）	在扩展词汇表上的定制语料库上进行
第二阶段	监督微调（SFT）	在问答（QA）、命名实体识别（NER）和情感分析（SA）任务上微调

性能评估：显著提升

VEXMLM在19种低资源非洲语言上进行了全面评估（2种核心语言 + 17种类型学相关的未增强语言）。

问答任务（QA）- 阿姆哈拉语/提格里尼亚语

模型	EM得分	F1得分
VEXMLM	87.0	90.0
XLM-R	66.0	78.0
Glot500	74.0	78.0

VEXMLM在EM得分上比XLM-R高出21分，F1得分高出12分。

情感分析任务（SA）

模型	准确率
VEXMLM	80.0%
XLM-R	77.0%
Glot500	46.0%

VEXMLM比Glot500高出34个百分点，展现了巨大的改进空间。

命名实体识别任务（NER）

在11种可分析OOV的评估语言中（共19种），VEXMLM将OOV-token实体准确率从81.4%提升至94.3%。

三项核心贡献

根据论文摘要，该研究的贡献包括：

专为Ge'ez文字设计的词表扩展与嵌入初始化流程
两阶段训练策略：词汇和继续预训练的收益能够迁移到17种类型学相关但未增强的非洲语言上
全面的评估体系：涵盖内在tokenization指标（词汇覆盖率、生育率、OOV率）和所有19种语言的外在任务性能

行业意义

对AI从业者的启示

低资源语言仍有巨大改进空间：Glot500在情感分析上仅46%的准确率表明，现有主流多语言模型在非洲语言上的应用仍不成熟。
词表扩展的有效性：通过针对性的tokenizer训练和词汇扩展，可以显著提升模型在非拉丁文字语言上的表现。
迁移学习的潜力：在2种语言上训练的改进可以迁移到17种相关语言，这意味着为少数语言投入资源可能产生广泛影响。

对开发者的建议

在处理低资源语言时，应考虑定制tokenizer而非直接依赖预训练模型的默认设置。
嵌入初始化策略（如使用 constituent subword 的平均值）是一个值得探索的方向。
评估应同时包含内在指标（OOV率、词汇覆盖率）和外在任务性能。

对创业者的思考

非洲拥有超过2000种语言，其中许多是低资源语言。VEXMLM的研究表明：
- 通过技术创新可以为这些语言提供高质量的NLP服务
- 当前市场存在明显空白：Glot500等现有方案在情感分析等任务上准确率不足50%
- 专注于特定文字系统（如Ge'ez文字）的深度优化可能比通用方案更具竞争力

结论

VEXMLM研究展示了一种系统化解决低资源非拉丁文字语言NLP问题的方法。通过在词表层面进行针对性扩展，并结合两阶段训练策略，该模型在多项任务上实现了显著的性能提升。随着全球AI应用的多样化需求增长，这类针对特定语言和文字系统的优化工作将为更多低资源语言带来实质性的技术进步。

论文链接：https://arxiv.org/abs/2607.15209
DOI：https://doi.org/10.48550/arXiv.2607.15209