bert-base-parsbert-ner-uncased

bert-base-parsbert-ner-uncased项目介绍

项目概述

bert-base-parsbert-ner-uncased是一个基于Google BERT架构的单语言模型,专门用于波斯语理解任务。该项目由Hooshvare研究团队开发,旨在为波斯语自然语言处理提供强大的预训练模型。

模型特点

• 采用与BERT-Base相同的配置
• 使用全词掩码(whole word masking)训练
• 支持小写处理
• 专门针对波斯语进行优化

命名实体识别任务

该项目重点关注波斯语命名实体识别(NER)任务,使用了两个主要数据集:

1. PEYMA数据集:包含7,145个句子,共302,530个标记,其中41,148个标记被分为7个不同的实体类别。

2. ARMAN数据集:包含7,682个句子,共250,015个标记,分为6个不同的实体类别。

此外,项目还结合了PEYMA和ARMAN两个数据集进行训练。

性能表现

在NER任务上,ParsBERT模型展现出了优异的性能:

• ARMAN + PEYMA组合数据集:F1分数达95.13
• PEYMA数据集:F1分数达98.79
• ARMAN数据集:F1分数达93.10

这些结果显著优于其他现有的波斯语NER模型。

使用方法

项目提供了简单易用的Pipeline接口,用户可以通过Hugging Face的transformers库轻松地在下游任务中使用该模型。项目还提供了详细的使用教程和Colab notebook示例。

项目贡献

该项目得到了Tensorflow Research Cloud (TFRC)计划的计算资源支持,以及Hooshvare研究团队在数据收集和在线文本资源抓取方面的协助。项目由多位研究人员共同开发,包括Mehrdad Farahani、Mohammad Gharachorloo、Marzieh Farahani和Mohammad Manthouri等。

总结

bert-base-parsbert-ner-uncased项目为波斯语自然语言处理,特别是命名实体识别任务,提供了一个强大而高效的预训练模型。它不仅在性能上超越了现有模型,还提供了便捷的使用接口,为波斯语NLP研究和应用开辟了新的可能性。