parakeet-tdt_ctc-110m

parakeet-tdt_ctc-110m项目介绍

项目背景

parakeet-tdt_ctc-110m 是一个自动语音识别（ASR）模型，能够将语音转录为带有标点符号和英文大写字母的文本。该项目由NVIDIA NeMo和Suno.ai团队联合开发。这是一个约有114M参数的大型混合 FastConformer TDT-CTC 模型。

模型架构

该模型采用了混合型 FastConformer-TDT-CTC 架构。FastConformer 是 Conformer 模型的优化版本，具备8倍深度可分离卷积下采样功能。这使得该模型可以在一次处理长达20分钟的音频。其实时传输值（RTFx）在所有数据集中都表现异常快速，平均RTFx可达到大约5300。

训练数据集

模型的训练数据来源于多个数据集，总计36,000小时的英语语音数据。这些数据包括NVIDIA NeMo和Suno团队收集的27,000小时私有子集及9,000小时的公共数据集，如Librispeech、Fisher Corpus、National Speech Corpus Part 1、VCTK、VoxPopuli、Europarl-ASR、Multilingual Librispeech（MLS EN）以及Mozilla Common Voice等。

性能表现

parakeet-tdt_ctc-110m被评估在多个流行的数据集上，其表现以词错误率（WER）衡量，具体如下：

• AMI (Meetings test): WER 15.88
• Earnings-22: WER 12.42
• GigaSpeech: WER 10.52
• LibriSpeech (clean): WER 2.4
• SPGI Speech: WER 2.54
• tedlium-v3: WER 4.16
• Vox Populi: WER 6.91

模型使用

此模型可在NeMo工具包中使用，作为预训练检查点进行推理或在其他数据集上微调。用户可以轻松地通过Python代码调用预训练模型，支持对单个或多个音频文件进行转录。

部署

虽然该模型目前尚未得到NVIDIA Riva的支持，但Riva是一个加速的语音AI SDK，可以在各种云环境和设备上部署。Riva提供高级语音识别、流媒体支持以及企业级服务。

许可证

此模型的使用许可证为CC-BY-4.0，下载和使用模型即表示您接受该许可证的条款和条件。

通过结合各种先进的技术和丰富的数据集，parakeet-tdt_ctc-110m为用户提供了强大而灵活的自动语音识别解决方案。