FastPDN

FastPDN项目介绍

FastPDN(FastPolDeepNer)是一个专门用于命名实体识别(Named Entity Recognition, NER)的模型。这个项目的前身是PolDeepNer2,旨在提供易于使用、训练和配置的NER解决方案。FastPDN项目实现了一个包含数据处理和模型训练的完整流程,使用了hydra、pytorch、pytorch-lightning和transformers等技术。

主要特点

1. 简单易用:FastPDN提供了简洁的接口,使用户能够轻松地在文本中识别命名实体。

2. 灵活配置:用户可以根据自己的需求调整模型参数和训练过程。

3. 高性能:模型在测试集上展现出了良好的性能,特别是使用herbert预训练模型时。

使用方法

FastPDN的使用非常简单。用户可以通过transformers库中的pipeline函数快速加载和使用模型:

1. 直接识别命名实体:

   • 使用pipeline函数加载模型
   • 输入文本,获取识别结果

2. 获取每个标记的logits:

   • 分别加载tokenizer和模型
   • 对输入文本进行编码
   • 使用模型处理编码后的输入,获取输出

训练数据

FastPDN模型使用了kpwr和cen数据集进行训练,这些数据集包含82个类别的命名实体。详细的标注指南可以在CLARIN-PL的官方文档中找到。

预训练模型

FastPDN在两个预训练模型的基础上进行了微调:

1. herbert-base-case: 由Allegro开发的波兰语预训练模型
2. distiluse-base-multilingual-cased-v1: 多语言预训练模型

模型评估

FastPDN在测试集上展现出了优秀的性能:

• 使用distiluse预训练模型:F1分数为0.53,准确率为0.95
• 使用herbert预训练模型:F1分数为0.68,准确率为0.97

herbert预训练模型在各项指标上都表现更好,是目前FastPDN的首选预训练模型。

项目团队

FastPDN项目由CLARIN-PL的Grupa Wieszcze团队开发,主要贡献者包括Wiktor Walentynowicz。如果用户在使用过程中遇到问题或有任何建议,可以联系项目负责人Norbert Ropiak。

开源许可

FastPDN项目采用CC-BY-4.0许可证,这意味着用户可以自由使用、修改和分享这个模型,只需要适当地注明出处。

总的来说,FastPDN为波兰语命名实体识别任务提供了一个强大而灵活的解决方案。无论是研究人员还是开发者,都可以轻松地将其集成到自己的项目中,提高文本处理的效率和准确性。