distilbart-mnli-12-3

DistilBart-MNLI项目介绍

DistilBart-MNLI是一个基于bart-large-mnli模型的简化版本。这个项目使用了一种名为“无教师蒸馏”（No Teacher Distillation）的技术，这种技术是由Huggingface在BART的文本摘要中提出的。通过该技术，DistilBart-MNLI在高效保留性能的同时，显著减少了模型的复杂性。

蒸馏技术概述

在DistilBart-MNLI的蒸馏过程中，我们采用了一种非常简单但有效的方法：直接复制bart-large-mnli模型中的交替层，并在同样的数据集上进一步微调。这种方法虽然简单，但从结果来看，性能的下降幅度非常小，这表明这种技术的有效性。

性能对比

在性能方面，虽然简化后模型的准确度略有降低，但仍然保持在一个高水平。具体表现如下：

bart-large-mnli（基线）：
- 中立匹配准确率：89.9%
- 非中立匹配准确率：90.01%
distilbart-mnli-12-3：
- 中立匹配准确率：88.1%
- 非中立匹配准确率：88.19%

这个结果表明，即使是在大幅度简化模型的情况下，DistilBart-MNLI仍然能够以较低的性能损失提供可观的准确性。详细的性能权衡信息可以在这份表格中查看。

模型微调指南

如果您有兴趣自己训练这些模型，可以参考以下步骤：

从源码克隆并安装transformers：

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

下载MNLI数据集：

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

创建学生模型：

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \