distil-small.en

distil-small.en项目介绍

distil-small.en是一个经过蒸馏的小型英语语音识别模型,是Distil-Whisper项目的一部分。这个项目旨在提供一个更快、更小,但性能相当的Whisper模型变体。

主要特点

• 模型大小仅为166M参数,是Distil-Whisper系列中最小的检查点
• 比原始的Whisper small.en模型快6倍,大小减少了49%
• 在离分布评估集上的性能与原始模型相差不到1%的词错误率(WER)
• 非常适合内存受限的应用场景,如设备端部署

技术细节

distil-small.en保留了Whisper的编码器-解码器架构:

• 编码器完全复制自教师模型,并在训练过程中被冻结
• 解码器由教师模型解码器层的子集组成,初始化时选择最大间隔的层
• 训练目标是KL散度和伪标签损失的加权和

使用方法

distil-small.en可以通过Hugging Face Transformers库轻松使用:

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="distil-whisper/distil-small.en")
result = pipe("audio.mp3")
print(result["text"])

它支持短音频和长音频的转录,并可以通过分块和批处理进一步优化速度。

性能评估

在LibriSpeech验证集上,distil-small.en实现了3.4%的词错误率,与大得多的模型相当。它在短音频和长音频上都比原始Whisper模型快6倍。

应用场景

distil-small.en适用于各种英语语音识别任务,特别是在计算资源有限的情况下。它可以用于:

• 移动设备上的实时语音转文本
• 大规模音频数据的快速处理
• 需要低延迟的语音交互应用

局限性

• 目前仅支持英语语音识别
• 对于某些特定领域的音频可能需要微调

总的来说,distil-small.en为开发者和研究人员提供了一个高效、紧凑但功能强大的语音识别模型选择,特别适合资源受限的场景。

markdown

以上是对distil-small.en项目的详细介绍,使用了通俗易懂的语言和markdown格式。内容涵盖了项目背景、主要特点、技术细节、使用方法、性能评估以及应用场景等方面,希望能够全面地展示这个项目的特点和价值。