bert-base-turkish-128k-uncased

bert-base-turkish-128k-uncased项目介绍

项目背景

bert-base-turkish-128k-uncased是由巴伐利亚州立图书馆的MDZ数字图书团队（dbmdz）发布的一个土耳其语BERT模型。这个项目名为BERTurk，是一个由社区推动的无大小写限制的BERT模型，旨在为土耳其语自然语言处理提供支持。

数据集与训练

BERTurk模型的训练使用了多个数据来源，包括经过过滤和句子分段处理的土耳其OSCAR语料库、近期的维基百科数据、多种OPUS语料库以及Kemal Oflazer提供的特别语料库。最终训练语料库的总大小为35GB，包含44,049,766,662个词元。通过Google的TensorFlow研究云（TFRC）的支持，研究团队在TPU v3-8上进行了200万步的训练，使得该无大小写模型得以实现。模型使用的词汇表大小为128k。

模型权重

目前，该模型仅提供与PyTorch的Transformers兼容的权重。如果需要获取TensorFlow的检查点，可以在项目页面提交请求。

下载链接如下：

配置文件: config.json
模型文件: pytorch_model.bin
词汇表: vocab.txt

项目使用指南

使用Transformers 2.3及以上版本，用户可以如下加载BERTurk无大小写模型：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("dbmdz/bert-base-turkish-128k-uncased")
model = AutoModel.from_pretrained("dbmdz/bert-base-turkish-128k-uncased")

研究成果

关于词性标注和命名实体识别任务的实验结果，请参考该项目的GitHub仓库。

Hugging Face模型中心

所有的模型均可以在Huggingface模型中心上找到。

联系与反馈

如果对BERT模型有任何疑问，可以在这里提交问题与反馈。

致谢

特别感谢Kemal Oflazer提供了额外的土耳其语大型语料库和Reyyan Yeniterzi提供的土耳其语NER数据集以供评估。该研究由Google的TensorFlow研究云（TFRC）提供的云TPU支持，并感谢Hugging Face团队慷慨提供的下载支持，使得从其S3存储中下载无大小写和大小写敏感的模型成为可能。