LibriHeavy: 50,000小时的开源自动语音识别语料库

LibriHeavy:50,000小时的开源自动语音识别语料库

LibriHeavy是一个革命性的大规模开源自动语音识别(ASR)语料库,包含50,000小时的英语语音数据。这个语料库不仅规模庞大,还包含了丰富的语言信息,如标点、大小写和上下文,为ASR研究和应用提供了前所未有的资源。

语料库概况

LibriHeavy是基于LibriVox项目的公开有声书籍音频构建而成的。它是目前最大的带有监督信息的开源语音语料库之一。与其他只提供规范化文本的开源数据集不同,LibriHeavy包含更丰富的信息:

标点符号
大小写信息
上下文文本

这些额外的信息为ASR系统的构建提供了更大的灵活性。研究人员可以利用这些信息训练出更加智能和自然的语音识别模型。

数据集构建

LibriHeavy的构建过程充分利用了先进的音频对齐和分割技术。研究团队提出了一种通用高效的流水线来定位、对齐和分割LibriLight中的音频到相应的文本。具体步骤包括:

下载原始文本
第一阶段对齐:使用自动识别结果定位音频在原书中的大致位置
第二阶段对齐:使用Levenshtein对齐算法精确定位
音频分割:将长音频切分为2-30秒的短片段

这种方法不仅高效,而且具有很强的通用性,可以应用于其他音频对齐任务。

LibriHeavy pipeline

数据集规模与统计

LibriHeavy保持了LibriLight的原始数据集划分,包含三个训练子集:

small: 500小时
medium: 5,000小时
large: 50,000小时

此外,还提取了开发集和测试集用于验证和测试。

数据集的一些重要统计信息如下:

子集	小时数	书籍数	每位说话人平均小时数	说话人总数	平均时长(秒)
small	509	173	1.22	417	14.9
medium	5,042	960	3.29	1,531	14.8
large	50,794	8,592	7.54	6,736	14.8
dev	22.3	180	0.16	141	15.0
test-clean	10.5	87	0.15	70	14.7
test-other	11.5	112	0.16	72	14.6

这些统计数据显示,LibriHeavy不仅规模庞大,而且具有很好的多样性,包含了大量的说话人和书籍。

数据格式与下载

LibriHeavy的音频文件与LibriLight相同,可以从LibriLight项目下载。清单文件托管在Hugging Face和ModelScope(面向中国大陆用户)上。

清单文件采用JSON格式,包含丰富的元数据信息,如音频片段的ID、开始时间、持续时间、文本内容等。研究人员可以根据需要选择使用带标点和大小写的完整格式版本,或者规范化的版本(全大写无标点)。

基准模型与性能

为了展示LibriHeavy的实用性,研究团队基于两种主流的端到端ASR模型架构训练了基准系统:

CTC-Attention模型
神经转录器(Transducer)模型

这些模型在LibriHeavy的不同子集上进行了训练,并在LibriSpeech和LibriHeavy的测试集上进行了评估。结果显示,随着训练数据量的增加,模型性能显著提升。

以下是在large子集(50,000小时)上训练的Transducer模型的部分结果:

LibriSpeech测试集WER: clean 1.62%, other 3.36%
LibriHeavy测试集WER: clean 2.20%, other 5.57%

这些结果证明了LibriHeavy数据集的高质量和有效性。

开源与影响

LibriHeavy项目不仅开放了数据集,还开源了数据集构建流水线的代码。这为语音识别研究社区提供了宝贵的资源,可以促进更多创新性的研究。

LibriHeavy的出现有望在以下方面产生重要影响:

推动大规模端到端ASR模型的研究与发展
促进带有标点和大小写的ASR系统的研究
为上下文感知的ASR提供数据支持
为语音合成、说话人识别等相关任务提供资源

结语

LibriHeavy作为一个包含丰富语言信息的大规模开源ASR语料库,为语音识别技术的进步提供了强大的推动力。它不仅规模庞大,而且包含了标点、大小写和上下文等关键信息,为研究人员提供了前所未有的资源。随着这一语料库的广泛应用,我们有理由期待在语音识别精度、自然度以及智能程度上都能取得新的突破。LibriHeavy的开放性也体现了开源精神,将推动整个语音识别社区的共同进步。