distilcamembert-base-ner

项目介绍：distilcamembert-base-ner

DistilCamemBERT-NER 是一款专为法语命名实体识别（NER）任务而调优的模型。这款模型的基础是 DistilCamemBERT，它受 Jean-Baptiste/camembert-ner 的启发而创建，后者基于 CamemBERT 模型构建。CamemBERT 模型在大规模生产阶段可能会面临推理成本的问题，为了解决这一问题，开发者通过 DistilCamemBERT 将推理时间缩短了一半，但能耗不变。

数据集

本项目中使用的数据集为 wikiner_fr，其中包含约 17 万句带有以下五类标签的句子：

• PER：人物
• LOC：地点
• ORG：组织
• MISC：杂项实体（如电影名称、书籍等）
• O：背景信息（不属于实体）

评估结果

模型的整体表现优异，具体数据如下：

基准测试

该模型的性能与 2 个参照模型进行比较，基于 f1 分数进行评估。所有测量在 AMD Ryzen 5 4500U @ 2.3GHz（6 核）上进行：

如何使用 DistilCamemBERT-NER

以下示例代码展示了如何在 Python 中使用：

from transformers import pipeline

ner = pipeline(
    task='ner',
    model="cmarkea/distilcamembert-base-ner",
    tokenizer="cmarkea/distilcamembert-base-ner",
    aggregation_strategy="simple"
)
result = ner(
    "Le Crédit Mutuel Arkéa est une banque Française, elle comprend le CMB "
    "qui est une banque située en Bretagne et le CMSO qui est une banque "
    "qui se situe principalement en Aquitaine. C'est sous la présidence de "
    "Louis Lichou, dans les années 1980 que différentes filiales sont créées "
    "au sein du CMB et forment les principales filiales du groupe qui "
    "existent encore aujourd'hui (Federal Finance, Suravenir, Financo, etc.)."
)

result

Optimum + ONNX 示例

下面的代码展示了如何使用优化后的 ONNX 模型：

from optimum.onnxruntime import ORTModelForTokenClassification
from transformers import AutoTokenizer, pipeline

HUB_MODEL = "cmarkea/distilcamembert-base-nli"
tokenizer = AutoTokenizer.from_pretrained(HUB_MODEL)
model = ORTModelForTokenClassification.from_pretrained(HUB_MODEL)
onnx_qa = pipeline("token-classification", model=model, tokenizer=tokenizer)

# 量化后的 onnx 模型
quantized_model = ORTModelForTokenClassification.from_pretrained(
    HUB_MODEL, file_name="model_quantized.onnx"
)

DistilCamemBERT-NER 是一款高效而强大的模型，它在法语命名实体识别任务中提供了优秀的性能和快速的推理速度，非常适合需要处理大量数据和快速响应的应用场景。