distil-large-v3

distil-large-v3项目介绍

distil-large-v3是Distil-Whisper系列的第三代和最终版本。这是一个知识蒸馏后的模型,基于OpenAI的Whisper large-v3模型开发而来。相比之前的Distil-Whisper模型,distil-large-v3在长音频转录方面有了显著的改进。

主要特点

• 优秀的长音频转录性能: 使用OpenAI的顺序长音频算法,distil-large-v3的词错率(WER)与原始large-v3模型仅相差1%。

• 显著提升的速度: 比large-v3快6.3倍,比distil-large-v2快1.1倍。

• 参数量减少: 仅使用756M参数,而large-v3有1550M参数。

• 多种推理方式: 支持短音频、顺序长音频和分块长音频三种推理模式。

• 兼容性强: 设计上兼容最流行的Whisper库,如Whisper cpp、Faster-Whisper等。

使用方法

distil-large-v3可以通过Hugging Face Transformers库轻松使用。主要支持以下几种使用方式:

1. 短音频转录: 适用于30秒以内的音频,使用pipeline可以快速实现。

2. 顺序长音频转录: 针对长音频优化,使用滑动窗口进行推理,准确度高但速度较慢。

3. 分块长音频转录: 对长音频进行分块处理,速度最快但准确度稍低。

4. 推测性解码: 可作为Whisper large-v3的辅助模型,在保证相同输出的同时将速度提高2倍。

性能优化

distil-large-v3还支持多种优化方法来进一步提升速度和减少内存使用:

• Flash Attention 2: 针对注意力机制的优化,需要安装额外的包。

• PyTorch SDPA: 在较新版本的PyTorch中默认启用的优化方法。

• 4位和8位推理: 即将推出的量化推理方法。

库集成

distil-large-v3可以与多个流行的语音识别库集成使用:

• Whisper.cpp: 在Mac M1上的测试中,distil-large-v3比large-v3快5倍以上。

• Faster-Whisper: 基于CTranslate2的快速推理引擎。

• OpenAI Whisper: 可以直接使用原始Whisper格式的模型。

总的来说,distil-large-v3在保持高准确度的同时大幅提升了推理速度,是一个非常实用的语音识别模型。它提供了多种使用方式和优化选项,可以灵活应对不同的应用场景。