electra-base-italian-xxl-cased-discriminator

electra-base-italian-xxl-cased-discriminator项目介绍

项目背景

在巴伐利亚州立图书馆的MDZ数字图书馆团队（dbmdz）的努力下，意大利语的BERT和ELECTRA模型被公开发布。此项目中的模型专注于提供意大利语处理的优秀性能。

训练数据来源

意大利BERT模型的训练数据主要来自近期的维基百科数据和OPUS语料库集合。最终的语料库大小为13GB，包含超过20亿个标注（tokens）。为了保证高效的句子分割，项目采用了NLTK工具。

对于特大型（XXL）意大利模型，不仅使用了OPUS数据，还扩展了意大利部分的OSCAR语料库数据，使最终的训练语料库达到81GB，包含超过130亿个标注。

值得注意的是，在训练XXL模型时，使用了错误的词汇表大小。这导致真实的词汇表大小为31102，但与config.json中指定的大小不一致。然而，经过评估，模型在这样的情况下仍能正常运行。

ELECTRA模型训练细节

意大利ELECTRA模型是在"XXL"语料库上训练的，总共进行了100万步，每批次的处理量为128。遵循了类似于BERTurk项目的ELECTRA的训练流程。

模型权重

目前仅提供与PyTorch-Transformers兼容的权重。如果需要TensorFlow的检查点，请在项目中提出需求。

以下是部分对应的模型和下载链接：

• dbmdz/electra-base-italian-xxl-cased-discriminator
  • config.json
  • pytorch_model.bin
  • vocab.txt

结果参考

关于命名实体识别（NER）或词性标注（PoS）等下游任务的结果，请参阅这个仓库。

使用指南

对于Transformers版本大于等于2.3的库，可以按照如下示例加载意大利BERT模型：

from transformers import AutoModel, AutoTokenizer

model_name = "dbmdz/bert-base-italian-cased"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModel.from_pretrained(model_name)

要加载推荐的意大利XXL BERT模型，请使用：

from transformers import AutoModel, AutoTokenizer

model_name = "dbmdz/bert-base-italian-xxl-cased"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModel.from_pretrained(model_name)

要加载意大利XXL ELECTRA（判别器）模型，请使用：

from transformers import AutoModel, AutoTokenizer

model_name = "dbmdz/electra-base-italian-xxl-cased-discriminator"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelWithLMHead.from_pretrained(model_name)

Huggingface模型平台

所有模型都可以在Huggingface模型平台上获取。

联系我们

如果您对我们的BERT/ELECTRA模型有疑问或建议，请在这里提交问题。

致谢

本研究得到了Google的TensorFlow Research Cloud（TFRC）云TPU项目的支持，感谢他们提供的设备使用权限。同时，也非常感谢Hugging Face团队的大力支持，使得项目的Cased和Uncased模型都可以从他们的S3存储下载。