Speech Dataset Generator: 强大的语音数据集生成工具

Speech Dataset Generator: 打造高质量语音数据集的利器

在当今人工智能飞速发展的时代,语音技术正在各个领域发挥着越来越重要的作用。无论是智能语音助手、语音识别系统还是文本转语音应用,高质量的语音数据集都是其发展的基石。然而,构建一个专业的语音数据集往往需要耗费大量的时间和精力。为了解决这一难题,David Martin Rius开发了Speech Dataset Generator这一强大的开源工具,旨在简化语音数据集的创建过程,为语音AI的研究与应用提供有力支持。

多样化的功能满足各种需求

Speech Dataset Generator提供了一系列丰富而强大的功能,使其成为语音数据处理的全能助手:

1. 数据集生成: 支持创建多语言数据集,并提供平均意见得分(MOS)评估。
2. 静音消除: 能够有效去除音频文件中的静音部分,提升整体音质。
3. 音质增强: 在需要时对音频进行质量改善处理。
4. 音频分割: 可以在指定的时间范围内对音频文件进行分割。
5. 转录: 为分割后的音频片段生成文字转录。
6. 性别识别: 识别每个说话人的性别。
7. 说话人嵌入: 利用pyannote嵌入技术在多个音频文件中检测说话人。
8. 自动说话人命名: 为多个音频中检测到的说话人自动分配名称。
9. 多说话人检测: 能够在每个音频文件中检测多个说话人。
10. 说话人嵌入存储: 将检测到的说话人信息存储在Chroma向量数据库中,无需手动分配说话人名称。
11. 语速指标: 计算每句话的语速,包括每分钟单词数(wpm)和每分钟音节数(spm)。
12. 多种输入源: 支持使用本地文件,也可以通过URL下载YouTube、LibriVox和TED Talk等平台的内容。

这些功能使Speech Dataset Generator成为一个全面而强大的语音数据处理工具,能够满足研究人员和开发者在语音数据集构建过程中的各种需求。

灵活的输出结构

Speech Dataset Generator生成的数据集具有清晰而灵活的结构,便于后续的使用和管理:

outputs
|-- main_data.csv
|
|-- chroma_database
|
|-- enhanced_audios
|
|-- ljspeech
|   |-- wavs
|   |   |-- 1272-128104-0000.wav
|   |   |-- 1272-128104-0001.wav
|   |   |-- ...
|   |   |-- 1272-128104-0225.wav
|   |-- metadata.csv
|
|-- librispeech
|   |-- speaker_id1
|   |   |-- book_id1
|   |   |   |-- transcription.txt
|   |   |   |-- file1.wav
|   |   |   |-- file2.wav
|   |   |   |-- ...
|   |-- speaker_id2
|   |   |-- book_id1
|   |   |   |-- transcription.txt
|   |   |   |-- file1.wav
|   |   |   |-- file2.wav
|   |   |   |-- ...

这种结构不仅组织有序,还为不同类型的语音数据集提供了灵活的存储方案。

简单易用的安装和使用

尽管Speech Dataset Generator功能强大,但其安装和使用却非常简单直观。用户只需按照以下步骤即可开始使用:

1. 确保系统中安装了ffmpeg并设置了正确的系统路径。
2. 创建并激活Python虚拟环境:

python3.10 -m venv venv 
source venv/bin/activate

3. 安装所需依赖:

pip install -r requirements.txt

或者

pip install -e .

4. 如果需要在项目文件夹外使用,请设置PYTHONPATH:

export PYTHONPATH=/path/to/your/speech-dataset-generator:$PYTHONPATH

使用时,用户可以通过命令行参数灵活控制各种功能。例如:

python speech_dataset_generator/main.py --input_file_path /path/to/audio/file.mp3 --output_directory /output/directory --range_times 5-10 --enhancers deepfilternet

这个命令将处理指定的音频文件,输出到指定目录,设置音频片段时长范围为5-10秒,并使用deepfilternet进行音质增强。

多语言支持和音频增强

Speech Dataset Generator基于Whisper实现了多语言支持,目前可处理的语言列表可在Whisper文档中查看。

在音频增强方面,项目提供了多种选择:

• Deepfilternet: 推荐用于降噪,效果最佳。
• Resembleai: 可进行降噪和增强,但有时可能导致轻微失真。
• Mayavoz: 仅适用于16000Hz采样率的音频。

用户可以根据具体需求选择合适的增强方法,甚至可以组合使用多种方法以获得最佳效果。

未来发展方向

Speech Dataset Generator的开发团队并未止步于当前成果,他们规划了一系列激动人心的未来发展方向:

1. 支持更多数据集类型: 计划增加对Common Voice 11、VoxPopuli、TED-LIUM等多种数据集格式的支持。
2. 数据集转换器: 开发能在不同数据集格式间进行转换的工具。
3. Gradio界面: 构建用户友好的图形界面,使非技术用户也能轻松使用。
4. Docker镜像: 提供Docker镜像,简化部署和使用过程。
5. Google Colab支持: 开发Colab笔记本,使用户能在云端环境中使用该工具。
6. 情感识别: 集成情感识别功能,为语音数据添加情感标签。
7. RunPod无服务器实例: 提供云端GPU解决方案,使用户无需本地GPU也能高效处理大规模数据。

这些计划显示了项目团队对持续改进和扩展功能的承诺,有望使Speech Dataset Generator在未来变得更加强大和易用。

开源贡献和许可

Speech Dataset Generator是一个开源项目,欢迎社区贡献。项目使用了多个开源库,包括whisperx、faster-whisper、pydub等。值得注意的是,whisperX目前使用BSD-4-Clause许可证,而其他组件多采用MIT或Apache 2.0许可证。

项目本身采用MIT许可证,这意味着用户可以自由使用、修改和分发该软件,只需保留版权和许可声明。

结语

Speech Dataset Generator无疑是语音AI领域的一个重要工具。它不仅简化了语音数据集的创建过程,还提供了丰富的功能来提升数据质量。无论是研究人员、开发者还是语音技术爱好者,都能从这个项目中受益。

随着项目的不断发展和完善,我们有理由相信Speech Dataset Generator将在推动语音技术进步方面发挥越来越重要的作用。如果您对语音数据处理感兴趣,不妨深入探索这个项目,也许您的下一个突破性研究或创新应用就将从这里启航。

最后,如果您觉得这个项目有用,别忘了在GitHub上给它一个星标⭐️。您的支持将大大提升项目的可见度,鼓励开发团队继续改进这个强大的工具。让我们共同期待Speech Dataset Generator的美好未来!