GigaSpeech

这是GigaSpeech数据集的官方仓库。关于我们如何创建该数据集的详细信息，请参阅我们的Interspeech论文：《GigaSpeech：一个不断发展的、多领域的ASR语料库，包含10,000小时转录音频》。预印本可在arxiv上获取。

GigaSpeech版本：1.0.0（2021年7月5日）

下载

第1步：请填写此处的Google表单
第2步：
- 选项A：按照SpeechColab回复邮件中的指示获取GigaSpeech的原始版本
- 选项B：参考HuggingFace上的GigaSpeech，通过HuggingFace获取预处理版本的GigaSpeech。

排行榜

贡献者	工具包	训练方案	训练数据	推理	开发/测试WER

<em>基线</em>	Athena	Transformer-AED + RNNLM	GigaSpeech v1.0.0 XL	模型示例	13.60 / 12.70
<em>基线</em>	Espnet	Conformer/Transformer-AED	GigaSpeech v1.0.0 XL	模型示例	10.90 / 10.80
<em>基线</em>	Kaldi	Chain + RNNLM	GigaSpeech v1.0.0 XL	<u>模型</u> <u>示例</u>	14.78 / 14.84
<em>基线</em>	Pika	RNN-T	GigaSpeech v1.0.0 XL	<u>模型</u> <u>示例</u>	12.30 / 12.30

约翰霍普金斯大学	Icefall	转导器：Zipformer编码器 + 嵌入解码器	GigaSpeech v1.0.0 XL	模型示例	10.25 / 10.38
约翰霍普金斯大学	Icefall	剪枝无状态RNN-T	GigaSpeech v1.0.0 XL	模型示例	10.40 / 10.51
约翰霍普金斯大学	Icefall	Conformer CTC + <br> n元语法 & 注意力重打分	GigaSpeech v1.0.0 XL	模型示例	10.47 / 10.58
出门问问	Wenet	联合CTC/AED(U2++)	GigaSpeech v1.0.0 XL	模型示例	10.70 / 10.60
字节跳动AI实验室	NeurST	Transformer-AED	GigaSpeech v1.0.0 XL	模型示例	11.89 / 11.60

数据集

音频来源

语言：英语
33,000+小时用于无监督/半监督学习
10,000小时高质量人工转录用于监督学习

音频来源	转录小时数	总小时数	声学条件
有声书	2,655	11,982	<li>朗读</li><li>不同年龄和口音</li>
播客	3,498	9,254	<li>清晰或背景音乐</li><li>室内</li><li>近场</li><li>自发性</li><li>不同年龄和口音</li>
YouTube	3,845	11,768	<li>清晰和嘈杂</li><li>室内和室外</li><li>近场和远场</li><li>朗读和自发性</li><li>不同年龄和口音</li>
总计	10,000	33,005

转录训练子集

子集	小时数	备注
XS	10	系统构建和调试
S	250	快速研究实验
M	1,000	大规模研究实验
L	2,500	中等规模工业实验
XL	10,000	大规模工业实验

较大的子集是较小子集的超集，例如，子集L包含子集M的所有数据。

转录评估子集

子集	小时数	备注
开发集	12	从爬取的播客和YouTube数据中随机选择
测试集	40	部分子集从爬取的播客和YouTube数据中随机选择；部分通过其他渠道手动收集以获得更好的覆盖率。

评估子集由专业人工标注员标注

数据准备指南

我们在这个仓库中为不同的语音识别工具包维护数据准备脚本，以便在我们更新数据集时（注意，这是一个不断发展的数据集），我们不必更新下游工具包中的脚本。不同语音识别工具包的数据准备脚本保存在toolkits/文件夹中，例如，Kaldi语音识别工具包的脚本在toolkits/kaldi中。

准备脚本

要使用数据准备脚本，请在您的工具包中执行以下操作（这里以Kaldi为例）

git clone https://github.com/SpeechColab/GigaSpeech.git

cd GigaSpeech
utils/download_gigaspeech.sh /disk1/audio_data/gigaspeech
toolkits/kaldi/gigaspeech_data_prep.sh --train-subset XL /disk1/audio_data/gigaspeech ../data
cd ..

元数据概览

我们将所有元数据信息保存在一个名为GigaSpeech.json的单一JSON文件中。以下是该文件的一个片段：

{
  "dataset": "GigaSpeech",
  "language": "EN",
  "version": "v1.0.0",
  ... ...
  "audios": [
    {
      "title": "The Architect of Hollywood",
      "url": "https://99percentinvisible.org/episode/the-architect-of-hollywood/download",
      "path": "audio/podcast/P0001/POD0000000025.opus",
      ... ...
      "segments": [
        {
          "sid": "POD0000000025_S0000103",
          "speaker": "N/A",
          "begin_time": 780.31,
          "end_time": 783.13,
          "text_tn": "FOUR O'CLOCK TOMORROW AFTERNOON <COMMA> SAID WILLIAMS <PERIOD>",
          "subsets": [
            "{XL}",
            "{L}"
          ]
        },
        ... ...
      ],
      ... ...
    },
    ... ...
  ]
}

要使用语料库，用户需要从GigaSpeech.json中提取相关信息。例如，对于语音识别任务，首先应该按照"audios"条目，生成音频文件列表。然后可以按照"url"条目下载原始音频文件，或者如果预处理的音频文件已下载到磁盘，则使用"path"。之后，对于每个音频文件，可以按照"segments"条目，生成可训练的音频片段及其对应的转录文本。当然，我们还有各种补充条目，如"subsets"、"md5"，这些对您的任务也会有帮助。

元数据文件GigaSpeech.json是版本控制的，并且会随时间更新。在未来的版本中，我们计划在元数据文件中添加说话人信息，以便适用于说话人识别/验证任务。我们还计划添加来自不同来源的更多数据以增加多样性。

我们还提供了一些基于jq的便捷命令行工具，例如utils/ls_audio.sh、utils/show_segment_info.sh、utils/ls_md5.sh。

音频处理

重采样：GigaSpeech音频文件以16 kHz采样率重采样，并使用Opus格式压缩。然而，Opus压缩不依赖于输入采样率；它使用带宽。即使未使用全带宽，时间戳也以48 kHz单位测量。同样，输出采样率可以自由选择。例如，音频可以以16 kHz输入，但设置为仅编码窄带音频。因此，我们建议用户在训练和测试前明确将解码后的音频重采样至16 kHz采样率。对于opus到wav的转换，请参考我们的示例工具utils/opus_to_wav.py

文本预处理

标点符号：我们在规范化文本中保留4个标点符号（参见GigaSpeech.json中的text_tn条目）
```
<COMMA>
<PERIOD>
<QUESTIONMARK>
<EXCLAMATIONPOINT>
```
这允许研究人员探索端到端终点检测和标点恢复等方向。如果您不需要这些，可以在自己的训练中将其删除。
无用语音标签：开发/测试评估集由人工标注。标注员被指示标记整个音频文件，不留"空白"。因此，对于非语音段，使用无用语音标签代替。我们建议用户在训练中丢弃这些语音。这些标签的完整列表是：
```
<SIL>
<MUSIC>
<NOISE>
<OTHER>
```

文本后处理（评分前）

会话填充词：自发/会话语音包含会话填充词，如：
```
'UH', 'UHH', 'UM', 'EH', 'MM', 'HM', 'AH', 'HUH', 'HA', 'ER'
```
我们建议用户在WER评分前从假设和参考文本中删除这些填充词，以便在不同工具包之间进行苹果对苹果的性能比较。关于后处理的讨论请参见此处。我们还提供了一个评分工具utils/gigaspeech_scoring.py，上述排行榜部分报告的所有工具包都使用了这个工具。

为新工具包添加支持

要为新工具包添加数据准备支持，请参照toolkits/kaldi/gigaspeech_data_prep.sh，为您自己的工具包添加类似的脚本。例如，对于ESPnet2，您可以添加toolkits/espnet2/gigaspeech_data_prep.sh来准备数据集，所有其他相关脚本应保存在toolkits/espnet2下。

合作

我们是一群志愿者，致力于使语音技术更易使用。我们欢迎任何形式的贡献。目前，我们正在探索以下方向。如果您对其中某个方向感兴趣，并认为您能够提供帮助，请联系gigaspeech@speechcolab.org。

不同预训练模型的推理架构
添加多样化的音频源
对语音算法/服务进行基准测试
构建和发布预训练模型
支持更多语言
通过GigaSpeech.json支持更多任务（如说话人识别）
制作具有宽松许可的新数据集

机构贡献者

机构	贡献
清华大学IEIT	计算能力；数据托管；研究人员
Magic Data	数据托管镜像
speechocean	数据托管镜像；评估数据标注
小米公司	计算能力；研究人员

引用

如果您发现这项工作有用，请引用我们的论文：

@inproceedings{GigaSpeech2021,
  title={GigaSpeech: An Evolving, Multi-domain ASR Corpus with 10,000 Hours of Transcribed Audio},
  booktitle={Proc. Interspeech 2021},
  year=2021,
  author={Guoguo Chen, Shuzhou Chai, Guanbo Wang, Jiayu Du, Wei-Qiang Zhang, Chao Weng, Dan Su, Daniel Povey, Jan Trmal, Junbo Zhang, Mingjie Jin, Sanjeev Khudanpur, Shinji Watanabe, Shuaijiang Zhao, Wei Zou, Xiangang Li, Xuchen Yao, Yongqing Wang, Yujun Wang, Zhao You, Zhiyong Yan}
}