mbart-large-50

mbart-large-50项目介绍

mbart-large-50是一个多语言序列到序列模型，它是通过"多语言去噪预训练"目标进行预训练的。这个模型是在论文《Multilingual Translation with Extensible Multilingual Pretraining and Finetuning》中首次提出的，旨在展示可以通过多语言微调创建多语言翻译模型。

模型概述

mbart-large-50是在原始mBART模型的基础上扩展而来，增加了25种语言的支持，使其能够支持50种语言的多语言机器翻译。该模型采用了独特的预训练方法，通过连接多种语言的数据集进行训练。预训练过程中使用了两种噪声方案：随机打乱原始句子的顺序，以及一种新颖的填充方案，即用单个掩码标记替换文本的一些片段。

预训练目标

模型的预训练目标是"多语言去噪预训练"。在这个过程中，模型需要重建被噪声化的原始文本。具体来说，每个实例中35%的单词会被掩码，掩码的跨度长度按泊松分布（λ = 3.5）随机采样。解码器输入是原始文本偏移一个位置，并使用语言ID符号作为初始标记来预测句子。

应用场景与局限性

mbart-large-50主要用于在翻译任务上进行微调，但也可以用于其他多语言序列到序列任务的微调。用户可以在模型中心查找已经微调过的版本，以满足特定需求。

训练方法

由于模型是多语言的，它对输入序列有特殊的格式要求。源文本和目标文本都需要使用特殊的语言ID标记作为前缀。文本格式为"[lang_code] X [eos]"，其中X是源文本或目标文本，lang_code分别是源语言代码和目标语言代码。一旦按照这种格式准备好示例，就可以像训练其他序列到序列模型一样进行训练。

语言覆盖范围

mbart-large-50支持50种语言，包括阿拉伯语、捷克语、德语、英语、西班牙语、爱沙尼亚语、芬兰语、法语、古吉拉特语、印地语、意大利语、日语、哈萨克语、韩语、立陶宛语、拉脱维亚语、缅甸语、尼泊尔语、荷兰语、罗马尼亚语、俄语、僧伽罗语、土耳其语、越南语、中文等。这种广泛的语言覆盖使得模型在多语言任务中具有很高的灵活性和适用性。