distilbert-base-cased

DistilBERT-base-cased项目介绍

DistilBERT-base-cased是一个经过蒸馏的BERT基础模型(区分大小写)。这个模型是BERT基础模型的一个压缩版本，它在保持性能的同时大大减小了模型的规模和推理速度。

模型概述

DistilBERT是一个transformer模型，比BERT更小更快。它使用自监督学习的方式在与BERT相同的语料库上进行预训练，将BERT基础模型作为教师模型。这意味着它只在原始文本上进行预训练，不需要人工标注，可以利用大量公开可用的数据。

预训练目标

DistilBERT的预训练主要包含三个目标:

1. 蒸馏损失：模型被训练以返回与BERT基础模型相同的概率。

2. 掩码语言建模(MLM)：这是BERT原始训练损失的一部分。模型需要预测句子中被随机遮蔽的15%的词。

3. 余弦嵌入损失：模型被训练以生成尽可能接近BERT基础模型的隐藏状态。

通过这种方式，DistilBERT学习到与其教师模型相同的英语语言内部表示，同时在推理或下游任务中更快。

使用方法

DistilBERT主要用于微调下游任务，特别是那些使用整个句子(可能被遮蔽)来做决策的任务，如序列分类、标记分类或问答。用户可以直接使用它进行掩码语言建模或下一句预测，也可以在Hugging Face模型库中查找针对特定任务微调的版本。

局限性和偏见

尽管DistilBERT的训练数据相对中立，但模型仍可能产生有偏见的预测。它还继承了其教师模型BERT的一些偏见。例如，在填充"白人/黑人男性/女性从事[MASK]工作"这样的句子时，模型可能会显示出性别和种族偏见。

训练数据和过程

DistilBERT使用与BERT相同的数据进行预训练，包括BookCorpus和英文维基百科。训练在8个16GB V100 GPU上进行，持续90小时。预处理过程包括文本小写化、WordPiece分词，以及特殊的掩码程序。

评估结果

在下游任务上微调后，DistilBERT在GLUE测试中取得了不错的成绩，展示了其作为一个压缩模型的有效性。

总的来说，DistilBERT-base-cased为需要更快、更轻量级BERT模型的应用场景提供了一个出色的选择，同时保持了较高的性能水平。