parakeet-tdt_ctc-1.1b

parakeet-tdt_ctc-1.1b项目介绍

项目背景

parakeet-tdt_ctc-1.1b是一个自动语音识别（ASR）模型，能够将英语语音进行转录，并包含标点符号和大写字母的处理。该模型由NVIDIA NeMo和Suno.ai团队共同开发，是一种混合FastConformer TDT-CTC模型的特大号版本，包含大约11亿个参数。这款模型使用局部注意力和全局标记，因此能够在一次处理过程中转录长达11个小时的音频。

技术亮点

模型架构：parakeet-tdt_ctc-1.1b采用混合的FastConformer-TDT-CTC架构。FastConformer是一种优化的Conformer模型，具有8倍的深度可分离卷积向下采样能力。
高效转录：模型在NVIDIA A100硬件上可以在不到16秒内转录90分钟的音频，性能非常出色。

使用指南

安装NVIDIA NeMo

要训练、微调或使用该模型，需要安装NVIDIA NeMo，建议在安装最新的PyTorch版本后进行NeMo的安装。

pip install nemo_toolkit['all']

模型调用

可以在NeMo工具中自动实例化模型用于推断或在其他数据集上进行微调。

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt_ctc-1.1b")

转录音频文件

模型接受16 kHz的单声道音频（wav文件）作为输入，并输出转录的文本字符串。可以通过以下命令进行音频转录：

asr_model.transcribe(['audio_file.wav'])

性能评估

模型在多个测试数据集上的表现通过词错误率（WER%）来衡量。例如，在LibriSpeech（Clean）的测试中，WER值为1.82，在Earnings-22数据集上为11.86。

数据集	WER
AMI (Meetings test)	15.94
Earnings-22	11.86
GigaSpeech	10.19
LibriSpeech (clean)	1.82
SPGI Speech	2.24
TEDLIUM-v3	3.87
Vox Populi	6.19
Mozilla Common Voice 9.0	8.69

训练信息

模型是通过NeMo toolkit对parakeet-tdt-1.1模型进行20,000步微调实现的，使用的训练数据总量达到36,000小时，包括LibriSpeech、Fisher Corpus等公共数据集。

公平性评估

项目还对模型的公平性进行了评估，分析了不同性别和年龄组的WER表现。结果表明，不同性别和年龄组之间存在一些差距，但总体表现良好。

许可协议

该模型根据CC-BY-4.0许可证进行授权使用，下载和使用公开发布的版本即表示接受此许可中的条款和条件。

parakeet-tdt_ctc-1.1b是一个创新的语音识别模型，凭借其卓越的性能和丰富的数据训练，能够有效地执行复杂的音频转录任务。