beto

BETO: 西班牙语的BERT模型

项目背景

BETO是一个专门为西班牙语而训练的BERT模型。BERT（Bidirectional Encoder Representations from Transformers）是一种用于自然语言处理任务的预训练模型，在许多语言文本处理任务中表现出色。BETO的训练过程使用了一个名为Whole Word Masking的技术，确保了更出色的词汇理解能力。BETO类似于BERT-Base的规模，适合处理西班牙语的文本。

模型下载

项目提供了BETO模型的两个版本：不区分大小写（uncased）和区分大小写（cased），它们的存储可以在HuggingFace Model Repository上找到。这两个模型都使用了包含大约31,000个BPE（字节对编码）子词的词汇，这是通过SentencePiece工具构建的，整体训练过程进行了两百万步。

性能基准

在多项西班牙语基准测试中，BETO模型表现优异。在下面的任务和模型对比中，BETO通常比多语言BERT和其他非BERT基准模型取得更好的结果：

• POS（词性标注）：BETO-cased达到了98.97%的准确率。
• NER-C（命名实体识别）：BETO-cased以88.43%的成绩位居榜首。
• MLDoc（文档分类）：BETO-uncased取得了96.12%的高分。
• PAWS-X（句子对齐）：BETO-uncased表现出良好的准确率，达到89.55%。
• XNLI（跨语言自然语言推理）：BETO-cased在测试中表现突出，达到了82.01%的成绩。

使用示例

BETO模型的使用非常便捷，可以通过Huggingface Transformers库进行加载和调用，具体的使用说明和代码示例可以参见Transformers库的相关文档。

鸣谢

项目要感谢Adereso和数据信息基础研究千禧研究所的支持，他们分别为BETO-uncased和BETO-cased的训练提供了帮助。此外，对Google公司在TensorFlow Research Cloud项目中的支持深表感谢。

引用和许可证

若要在学术或研究刊物中引用BETO模型，请使用指定的引用格式。需要注意的是，尽管BETO的工作由CC BY 4.0许可证形式描述其意图，但在用于商业用途之前，需自行确认训练用数据集的许可证兼容性。

通过以上信息，希望能够为需要处理西班牙语语言文本的研究者和开发人员提供一个快捷和有力的工具，使得他们在自然语言处理任务中的工作更加高效和精准。