xlm-roberta-large-ner-hrl

xlm-roberta-large-ner-hrl 项目介绍

模型描述

xlm-roberta-large-ner-hrl 是一个用于识别命名实体的模型，适用于十种资源丰富的语言。这十种语言包括阿拉伯语、德语、英语、西班牙语、法语、意大利语、拉脱维亚语、荷兰语、葡萄牙语及中文。该模型基于经过微调的 XLM-RoBERTa large 模型，可以识别三种实体类型：地点（LOC）、组织（ORG）和人物（PER）。具体来说，这个模型是在聚合的十种高资源语言上微调的 xlm-roberta-large 模型。

使用目的及限制

如何使用

用户可以使用 Transformers 库中的 pipeline 来进行命名实体识别（NER）。以下是一个简单的代码示例：

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/xlm-roberta-large-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/xlm-roberta-large-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

限制和偏差

此模型的训练数据来源于特定时间范围内的实体标注新闻文章。因此，该模型可能无法很好地泛化用于不同领域的所有用例。

训练数据

该模型针对十种语言进行了训练，每种语言的训练数据来源于不同的语料库，具体如下：

训练数据能够区分一个实体的开始与持续，因此即使有连续的相同类型的实体，模型也可以输出第二个实体的起始位置。

训练过程

模型在 NVIDIA V100 GPU 上训练，并应用了 HuggingFace 提供的推荐超参数设置。