ner-spanish-large

ner-spanish-large项目介绍

项目概述

ner-spanish-large是一个用于西班牙语实体识别的大型模型，由Flair提供。实体识别（NER）是一种自然语言处理技术，旨在从文本中识别特定类型的词，如人名、地名、组织名等。在这个项目中，模型能够识别四种标签：PER（人名）、LOC（地名）、ORG（组织名）和MISC（其他名）。

项目使用的基础技术包括文档级别的XLM-R嵌入和FLERT技术，在CoNLL-03西班牙语数据集上的F1得分为90.54。

使用示例

要使用此模型，用户需要事先安装Flair库。以下是使用Flair的python演示代码：

from flair.data import Sentence
from flair.models import SequenceTagger

# 载入标注器
tagger = SequenceTagger.load("flair/ner-spanish-large")

# 创建示例句子
sentence = Sentence("George Washington fue a Washington")

# 预测NER标签
tagger.predict(sentence)

# 输出句子
print(sentence)

# 输出预测的NER范围
print('The following NER tags are found:')
# 遍历实体并输出
for entity in sentence.get_spans('ner'):
    print(entity)

运行上述代码时，模型能够识别句子中“George Washington”为“人名”，以及“Washington”为“地名”。

模型训练

该模型的训练过程使用了Flair脚本。训练概况如下：

获取语料库：使用CONLL_03_SPANISH数据集。
定义要预测的标签类型，例如“ner”。
从语料库中创建标签字典。
初始化含有文档上下文的可微调Transformer嵌入，使用XLM-RoBERTa大型模型。
初始化基础序列标注器。
通过AdamW优化器初始化训练器。
使用XLM参数运行训练，共20个轮次。

训练脚本重点展示了如何构建和微调模型，以优化实体识别的准确性。

引用

使用这个模型时，请引用以下论文：

@misc{schweter2020flert,
    title={FLERT: Document-Level Features for Named Entity Recognition},
    author={Stefan Schweter and Alan Akbik},
    year={2020},
    eprint={2011.06993},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}