bert-base-spanish-wwm-cased

BETO: 西班牙语BERT模型

BETO是一个基于BERT架构的西班牙语预训练语言模型。它是由智利大学的研究人员训练而成,旨在为西班牙语自然语言处理任务提供高质量的语言表示。

模型架构与训练

BETO的规模与BERT-Base相当,采用了全词遮蔽(Whole Word Masking)技术进行训练。研究人员使用了一个大规模的西班牙语语料库来训练模型,训练步数达到200万步。BETO提供了大小写敏感(cased)和大小写不敏感(uncased)两个版本,以适应不同的应用场景。

词表与权重

BETO使用了约31,000个BPE子词单元作为词表,这些子词是通过SentencePiece工具构建的。模型的权重文件支持TensorFlow和PyTorch两种格式,方便用户在不同的深度学习框架中使用。

性能评估

研究人员在多个西班牙语自然语言处理任务上评估了BETO的性能,包括词性标注(POS)、命名实体识别(NER)、文本分类(MLDoc)、释义识别(PAWS-X)和跨语言自然语言推理(XNLI)等。结果表明,BETO在大多数任务上都优于多语言BERT模型,展现出了优秀的性能。

使用方法

用户可以通过Hugging Face Transformers库轻松加载和使用BETO模型。只需指定模型名称'dccuchile/bert-base-spanish-wwm-cased'或'dccuchile/bert-base-spanish-wwm-uncased',即可在代码中使用BETO进行各种自然语言处理任务。