parakeet-tdt-1.1b

parakeet-tdt-1.1b项目介绍

parakeet-tdt-1.1b是一个由NVIDIA NeMo和Suno.ai团队联合开发的自动语音识别(ASR)模型。这是一个基于FastConformer-TDT架构的大规模模型,参数量达到了11亿。该模型专门用于将英语语音转录为小写英文字母文本。

模型特点

• 采用FastConformer-TDT架构,结合了FastConformer和TDT的优势
• 模型规模庞大,参数量达11亿
• 专门针对英语语音识别优化
• 支持16kHz采样率的单声道音频输入
• 输出为小写英文字母的转录文本

模型架构

parakeet-tdt-1.1b采用了FastConformer-TDT架构:

• FastConformer是Conformer模型的优化版本,使用8倍深度可分离卷积下采样
• TDT (Token-and-Duration Transducer)是对传统Transducer的改进,通过解耦token和持续时间预测来提高效率
• TDT可以跳过大多数空白预测,显著提升推理速度

训练数据

该模型在64,000小时的英语语音数据上进行训练,包括:

• 40,000小时私有英语语音数据
• 24,000小时公开数据集,如LibriSpeech、Fisher Corpus、Common Voice等

性能表现

在多个标准数据集上进行了评估,性能优异:

• LibriSpeech test-clean: 1.39% WER
• Common Voice: 5.97% WER
• GigaSpeech: 9.55% WER

使用方法

可以通过NVIDIA NeMo工具包轻松使用该模型:

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.EncDecRNNTBPEModel.from_pretrained("nvidia/parakeet-tdt-1.1b")
asr_model.transcribe(['audio.wav'])

公平性评估

在CausalConversations-v1数据集上进行了公平性评估,结果显示:

• 在性别方面,女性的WER(14.61%)略低于男性(17.18%)
• 在年龄方面,各年龄段的WER相近,在15-16%之间

部署

虽然目前NVIDIA Riva还不支持该模型,但未来可能会支持在Riva平台上部署,以实现加速推理和企业级支持。

总的来说,parakeet-tdt-1.1b是一个强大的英语语音识别模型,在多个领域和场景下都表现出色,为语音应用开发提供了优秀的基础。

</SOURCE_TEXT>