distilbart-mnli-12-3

DistilBart-MNLI项目介绍

DistilBart-MNLI是一个基于bart-large-mnli模型的简化版本。这个项目使用了一种名为“无教师蒸馏”（No Teacher Distillation）的技术，这种技术是由Huggingface在BART的文本摘要中提出的。通过该技术，DistilBart-MNLI在高效保留性能的同时，显著减少了模型的复杂性。

蒸馏技术概述

在DistilBart-MNLI的蒸馏过程中，我们采用了一种非常简单但有效的方法：直接复制bart-large-mnli模型中的交替层，并在同样的数据集上进一步微调。这种方法虽然简单，但从结果来看，性能的下降幅度非常小，这表明这种技术的有效性。

性能对比

在性能方面，虽然简化后模型的准确度略有降低，但仍然保持在一个高水平。具体表现如下：

• bart-large-mnli（基线）：

  • 中立匹配准确率：89.9%
  • 非中立匹配准确率：90.01%

• distilbart-mnli-12-3：

  • 中立匹配准确率：88.1%
  • 非中立匹配准确率：88.19%

这个结果表明，即使是在大幅度简化模型的情况下，DistilBart-MNLI仍然能够以较低的性能损失提供可观的准确性。详细的性能权衡信息可以在这份表格中查看。

模型微调指南

如果您有兴趣自己训练这些模型，可以参考以下步骤：

1. 从源码克隆并安装transformers：

   git clone https://github.com/huggingface/transformers.git
   pip install -qqq -U ./transformers

2. 下载MNLI数据集：

   python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

3. 创建学生模型：

   python create_student.py \
     --teacher_model_name_or_path facebook/bart-large-mnli \
     --student_encoder_layers 12 \
     --student_decoder_layers 6 \
     --save_path student-bart-mnli-12-6 \

4. 开始微调：

   python run_glue.py args.json

这些训练模型的日志可以在这个wandb项目中找到。通过实践这些步骤，用户可以创建并微调自己的DistilBart-MNLI模型，体验这一强大技术的便利与高效。