distilrubert-base-cased-conversational

distilrubert-base-cased-conversational项目介绍

distilrubert-base-cased-conversational是一个针对俄语对话场景优化的预训练语言模型。该项目旨在通过知识蒸馏技术，将原有的RuBERT模型压缩成一个更小、更快的版本，同时尽可能保持其性能。

模型特点

• 该模型是一个6层、768隐藏单元、12个注意力头、共135.4M参数的压缩版BERT模型。
• 它是在多个俄语对话数据集上训练的，包括OpenSubtitles、Dirty、Pikabu以及Taiga语料库的社交媒体部分。
• 模型采用大小写敏感的设计，更好地保留了原始文本的信息。

训练方法

研究人员在训练过程中采用了多种损失函数来指导模型学习：

1. KL散度损失：用于衡量教师模型和学生模型输出logits之间的差异。
2. MLM（掩码语言模型）损失：比较token标签和学生模型输出logits。
3. 余弦嵌入损失：计算教师模型两个连续隐藏状态的平均值与学生模型一个隐藏状态之间的相似度。

模型在8块NVIDIA Tesla P100-SXM2.0 16GB GPU上训练了约100小时。

性能评估

研究人员对比了教师模型（RuBERT-base-cased-conversational）和学生模型（DistilRuBERT-base-cased-conversational）在推理速度上的表现。测试环境为Intel(R) Xeon(R) CPU E5-2698 v4 @ 2.20GHz和NVIDIA Tesla P100-SXM2.0 16GB GPU。

结果显示，distilrubert-base-cased-conversational在模型大小、CPU/GPU延迟和吞吐量等方面都有显著改进：

• 模型大小从679MB减少到517MB。
• CPU延迟从0.655秒降低到0.3285秒。
• GPU延迟从0.031秒降低到0.0212秒。
• CPU吞吐量从0.3754样本/秒提升到0.5803样本/秒。
• GPU吞吐量从36.4902样本/秒提升到52.2495样本/秒。

应用价值

distilrubert-base-cased-conversational模型在保持较高性能的同时，大幅降低了计算资源需求，使其更适合在资源受限的环境中部署。这对于需要快速响应的对话系统、移动设备上的自然语言处理应用等场景具有重要价值。

开源贡献

该项目为开源社区提供了一个高质量的俄语对话模型，研究人员和开发者可以基于此模型进行further fine-tuning或直接应用于各种NLP任务。项目还详细介绍了模型训练和评估方法，为similar工作提供了valuable参考。