herbert-base-cased

HerBERT项目介绍

HerBERT是一个基于BERT的波兰语言模型,由Allegro公司的机器学习研究团队和波兰科学院计算机科学研究所的语言工程小组联合开发。该模型采用掩码语言建模(MLM)和句子结构目标(SSO)在波兰语语料库上进行训练,使用了动态掩码整词的技术。

训练语料库

HerBERT的训练使用了6个不同的波兰语语料库,总计包含超过86亿个词元。主要语料库包括:

• CCNet Middle和CCNet Head:来自Common Crawl的高质量网页文本
• 波兰国家语料库:包含各类文本的大规模语料库
• Open Subtitles:电影字幕文本
• 维基百科:波兰语维基百科文章
• Wolne Lektury:公版文学作品

这些语料库涵盖了多种文本类型和领域,有助于模型学习丰富的语言知识。

分词器

HerBERT使用基于字符级字节对编码(BPE)的分词器,词表大小为5万个词元。分词器采用tokenizers库进行训练,建议用户使用HerbertTokenizerFast这一快速版本的分词器。

模型使用

使用HerBERT非常简单,只需几行代码即可加载模型和分词器:

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/herbert-base-cased")
model = AutoModel.from_pretrained("allegro/herbert-base-cased")

然后就可以使用tokenizer对输入文本进行编码,并将编码后的结果输入模型进行处理。

许可证和引用

HerBERT采用CC BY 4.0许可证发布。如果在研究中使用了该模型,请引用相关论文《HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish》。

总结

HerBERT为波兰语自然语言处理任务提供了一个强大的预训练语言模型。它在多样化的大规模语料库上训练,采用了先进的模型架构和训练技术,可以为各种下游任务提供良好的语言表示。该项目的开源为波兰语NLP研究和应用提供了宝贵的资源。