bert-fa-base-uncased

bert-fa-base-uncased项目介绍

概览

bert-fa-base-uncased是一个专为波斯语（Persian）设计的单语语言模型，基于谷歌的BERT架构。该项目以提升波斯语理解能力为目标，并致力于将ParsBERT的应用范围扩展到不同领域。

项目背景

项目人员重建了词汇表，并在新的波斯语语料库上微调了ParsBERT v1.1，推出了最新的ParsBERT v2.0版本。该模型在大量涵盖多种写作风格和主题的波斯语文档上进行预训练，包括科学、小说和新闻等，语料库包含超过390万篇文档、7300万句子和13亿个词语。

可以查看ParsBERT的论文以及项目主页获取更多信息。

主要用途与限制

bert-fa-base-uncased的原始模型可用于掩码语言模型或下一句预测，但更适合在下游任务上进行微调。在HuggingFace的模型中心可以找到针对特定任务微调的版本。

如何使用

在TensorFlow 2.0中使用

要在TensorFlow 2.0中使用bert-fa-base-uncased，首先需要导入相关库，并加载预训练的配置、分词器和模型。以下是基本的代码示例：

from transformers import AutoConfig, AutoTokenizer, TFAutoModel
config = AutoConfig.from_pretrained("HooshvareLab/bert-fa-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("HooshvareLab/bert-fa-base-uncased")
model = TFAutoModel.from_pretrained("HooshvareLab/bert-fa-base-uncased")
text = "ما در هوشواره معتقدیم با انتقال صحیح دانش و آگاهی، همه افراد میتوانند از ابزارهای هوشمند استفاده کنند. شعار ما هوش مصنوعی برای همه است."
tokenizer.tokenize(text)

在PyTorch中使用

在PyTorch中使用bert-fa-base-uncased同样只需导入相关库并加载模型：

from transformers import AutoConfig, AutoTokenizer, AutoModel
config = AutoConfig.from_pretrained("HooshvareLab/bert-fa-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("HooshvareLab/bert-fa-base-uncased")
model = AutoModel.from_pretrained("HooshvareLab/bert-fa-base-uncased")

模型训练

ParsBERT的训练使用了大量的公开语料库，如Persian Wikidumps和MirasText，以及六种从不同网站手动抓取的数据。例如科学网站BigBangPage、生活方式网站Chetor、旅行网站Eligasht等。这一系列的预处理步骤使语料库格式化成适合使用的形态。

ParsBERT v2.0还进行了详细的评估。其性能在情感分析、文本分类以及命名实体识别任务上均超过了其他包括多语言BERT在内的语言模型，显著提高了波斯语建模的表现。

评估结果

ParsBERT在以下三项NLP下游任务上进行评估：情感分析（SA）、文本分类（TC）和命名实体识别（NER）。结果显示，ParsBERT v2.0在此类任务中均展示了优异的表现。

情感分析课题性能对比

ParsBERT在不同数据集上的表现均超越了之前的版本及其他模型。例如，在Digikala用户评论数据集上，ParsBERT v2的准确率达到81.72%。

文本分类课题性能对比

在Digikala电子杂志数据集和波斯新闻数据集上的测试中，ParsBERT v2同样以93.65%和97.44%的准确率，超过了其他使用多语言BERT的对比模型。

命名实体识别课题性能对比

在PEYMA和ARMAN数据集上的评估结果中，ParsBERT v2分别达到93.40%和99.84%的表现，明显领先于其他最先进的模型。

结语

如果您有任何问题或需要进一步的信息，请访问ParsBERT Issues页面提交Github问题。