bert-base-parsbert-uncased

ParsBERT：基于Transformer的波斯语理解模型

ParsBERT是一个基于Google BERT架构的单语言模型，专门为波斯语自然语言处理而设计。这个项目由Hooshvare研究团队开发，旨在提高波斯语自然语言处理的性能。

模型简介

ParsBERT采用了与BERT-Base相同的配置，但专门针对波斯语进行了预训练。该模型使用了超过200万份涵盖各种写作风格和主题的波斯语文档进行训练，包括科学文献、小说和新闻等。研究团队对语料库进行了大量的预处理工作，结合了词性标注和WordPiece分词，最终产生了超过4000万个真实句子用于模型训练。

评估与结果

ParsBERT在三个主要的自然语言处理下游任务中进行了评估：情感分析、文本分类和命名实体识别。研究团队为此手动构建了多个大规模数据集，这些数据集现已公开供研究使用。

在评估中，ParsBERT在所有任务上都优于其他语言模型，包括多语言BERT和其他混合深度学习模型。具体结果如下：

情感分析：在多个数据集上，ParsBERT的F1分数达到了81.74%到92.13%不等，超过了现有的最佳性能。
文本分类：在Digikala杂志和波斯新闻数据集上，ParsBERT分别达到了93.59%和97.19%的F1分数。
命名实体识别：在PEYMA和ARMAN数据集上，ParsBERT的F1分数分别达到了93.10%和98.79%。

这些结果表明，ParsBERT在波斯语自然语言处理任务中取得了显著的进步。

使用方法

ParsBERT可以通过Hugging Face的Transformers库轻松使用。用户可以使用TensorFlow 2.0或PyTorch来加载和使用模型。以下是一个简单的使用示例：

from transformers import AutoConfig, AutoTokenizer, AutoModel

config = AutoConfig.from_pretrained("HooshvareLab/bert-base-parsbert-uncased")
tokenizer = AutoTokenizer.from_pretrained("HooshvareLab/bert-base-parsbert-uncased")
model = AutoModel.from_pretrained("HooshvareLab/bert-base-parsbert-uncased")

项目贡献与致谢

ParsBERT项目得到了Tensorflow Research Cloud (TFRC)计划的计算资源支持。Hooshvare研究团队在数据集收集和在线文本资源抓取方面提供了便利。项目的主要贡献者包括Mehrdad Farahani、Mohammad Gharachorloo、Marzieh Farahani和Mohammad Manthouri。