scandi-nli-large

项目介绍: Scandi-NLI-Large

项目背景

Scandi-NLI-large是一个面向斯堪的纳维亚语言的自然语言推理模型，旨在为丹麦语、挪威语和瑞典语提供强大的语言理解能力。这个模型是对NbAiLab/nb-bert-large的精调版本，其应用范围包括各种语言推理任务。

在这个项目中，研究团队分别推出了三种不同规模的模型：

• alexandrainst/scandi-nli-large
• alexandrainst/scandi-nli-base
• alexandrainst/scandi-nli-small

快速入门

用户可以通过下面的Python代码快速使用此模型进行零样本分类：

from transformers import pipeline
classifier = pipeline(
    "zero-shot-classification",
    model="alexandrainst/scandi-nli-large",
)
result = classifier(
    "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
    candidate_labels=['sundhed', 'politik', 'sport', 'religion'],
    hypothesis_template="Dette eksempel handler om {}",
)

性能表现

Scandi-NLI-large模型在多个语言的性能表现优异，通过马修相关系数(MCC)、宏平均F1分数和准确率等指标进行评估。在这三种语言中的评估结果如下：

斯堪的纳维亚语言评估

在斯堪的纳维亚语言总体的评估中，Scandi-NLI-large取得了以下成绩：

• MCC: 73.70%
• 宏平均F1得分: 74.44%
• 准确率: 83.91%
• 参数数量: 354M

丹麦语评估

使用DanFEVER数据集评估丹麦语性能：

• MCC: 73.80%
• 宏平均F1得分: 58.41%
• 准确率: 86.98%
• 参数数量: 354M

瑞典语评估

使用MultiNLI数据集的机器翻译版本评估瑞典语性能：

• MCC: 76.69%
• 宏平均F1得分: 84.47%
• 准确率: 84.38%
• 参数数量: 354M

挪威语评估

使用MultiNLI数据集的机器翻译版本评估挪威语性能：

• MCC: 70.61%
• 宏平均F1得分: 80.43%
• 准确率: 80.36%
• 参数数量: 354M

训练过程

这个模型使用DanFEVER、MultiNLI和CommitmentBank数据集的机器翻译版本进行训练，涵盖了所有三种语言。训练中，各语言样本的比例是均衡的，使用有效的验证集来监控训练质量。

更多训练细节可以在Github仓库中查找，全程的训练日志在Weights and Biases报告中可见。

训练超参数

训练过程中使用的超参数包括：

• 学习率: 2e-05
• 训练批次大小: 2
• 评估批次大小: 2
• 随机种子: 4242
• 梯度累积步数: 16
• 总训练批次大小: 32
• 优化器: 使用Adam，beta为(0.9, 0.999)，epsilon为1e-08
• 学习率调度器类型: 线性
• 学习率调度器热身步数: 500
• 最大训练步数: 50,000

Scandi-NLI-large为提高斯堪的纳维亚语言的自然语言推理能力提供了重要支持，是对现有语言模型的重要补充。