David Martin Rius 的语音数据集生成器

本仓库致力于创建适用于训练文本转语音或语音转文本模型的数据集。主要功能包括转录音频文件、在必要时提高音频质量以及生成数据集。

项目的主要功能包括：

数据集生成： 创建带有平均意见得分（MOS）的多语言数据集。
静音去除： 包含从音频文件中去除静音的功能，提高整体质量。
音质改善： 在需要时提高音频质量。
音频分段： 可以在指定的秒数范围内对音频文件进行分段。
转录： 对分段音频进行转录，提供文本表示。
性别识别： 识别音频中每个说话者的性别。
Pyannote嵌入： 利用pyannote嵌入进行多个音频文件中的说话者检测。
自动说话者命名： 自动为多个音频中检测到的说话者分配名称。
多说话者检测： 能够在每个音频文件中检测多个说话者。
存储说话者嵌入： 检测到的说话者会被存储在Chroma数据库中，因此无需手动分配说话者名称。
音节和每分钟字数指标
多种输入源： 您可以使用自己的文件，或通过粘贴来自YouTube、LibriVox和TED Talks等源的URL来下载内容。

输出文件夹示例：

outputs
|-- main_data.csv
|
|-- chroma_database
|
|-- enhanced_audios
|
|-- ljspeech
|   |-- wavs
|   |   |-- 1272-128104-0000.wav
|   |   |-- 1272-128104-0001.wav
|   |   |-- ...
|   |   |-- 1272-128104-0225.wav
|   |-- metadata.csv
|
|-- librispeech
|   |-- speaker_id1
|   |   |-- book_id1
|   |   |   |-- transcription.txt
|   |   |   |-- file1.wav
|   |   |   |-- file2.wav
|   |   |   |-- ...
|   |-- speaker_id2
|   |   |-- book_id1
|   |   |   |-- transcription.txt
|   |   |   |-- file1.wav
|   |   |   |-- file2.wav
|   |   |   |-- ...

main_data.csv内容示例：

请注意，提供的值纯属虚构，仅用于本示例的说明目的。


| text                    | audio_filename               | speaker_id     | gender     | duration    | language    | words_per_minute   | syllables_per_minute |
|-------------------------|------------------------------|----------------|------------|-------------|-------------|--------------------|----------------------|
| Hello, how are you?     | wavs/1272-128104-0000.wav    | Speaker12      | male       | 4.5         | en          | 22.22              | 1.11                 |
| Hola, ¿cómo estás?      | wavs/1272-128104-0001.wav    | Speaker45      | female     | 6.2         | es          | 20.97              | 0.81                 |
| This is a test.         | wavs/1272-128104-0002.wav    | Speaker23      | male       | 3.8         | en          | 26.32              | 1.32                 |
| ¡Adiós!                 | wavs/1272-128104-0003.wav    | Speaker67      | female     | 7.0         | es          | 16.43              | 0.57                 |
| ...                     | ...                          | ...            | ...        | ...         | ...         | ...                | ...                  |
| Goodbye!                | wavs/1272-128104-0225.wav    | Speaker78      | male       | 5.1         | en          | 1.41               | 1.18                 |

安装

请注意，本项目已在Ubuntu 22上测试并验证可用。尚未在macOS和Windows以及其他Unix发行版上进行测试。


python3.10 -m venv venv 

source venv/bin/activate

pip install -r requirements.txt

或

pip install -e .

#如果您要在此项目文件夹外使用此程序，请执行以下操作：
export PYTHONPATH=/path/to/your/speech-dataset-generator:$PYTHONPATH

运行代码需要的协议

重要提示：确保同意分享您的联系信息以访问pyannote embedding模型。同样，访问pyannote speaker diarization模型可能需要类似的协议。

Huggingface

您需要在.env文件中提供HuggingFace令牌

HF_TOKEN=yourtoken

使用方法

主脚本speech_dataset_generator/main.py接受命令行参数来指定输入文件、输出目录、时间范围和增强器类型。您可以处理单个文件或整个音频文件夹。您还可以使用YouTube视频或YouTube播放列表作为输入。


python speech_dataset_generator/main.py --input_file_path <音频文件路径> --output_directory <输出目录> --range_times <开始-结束> --enhancers <增强器类型>

--input_file_path：（源）输入音频文件的路径。不能与输入文件夹一起使用。
--input_folder：（源）包含音频文件的输入文件夹的路径。不能与input_file_path一起使用。
--youtube_download：（源）YouTube视频或播放列表的链接，多个链接用空格分隔。
--librivox_download：（源）LibriVox有声书的链接，多个链接用空格分隔。
--tedtalks_download：（源）聚合Ted Talks音频或视频链接，用空格分隔。直接从分享按钮URL的"下载"部分复制这些链接，即MP4和音频所在的位置。
--output_directory：音频文件的输出目录。
--range_times：指定两个整数的范围，格式为"开始-结束"。默认为4-10。说明：首先，范围由WhisperX确定。因此，您无法修改它们，但使用此参数时，您可以缩小和过滤范围。
--enhancers：您可以使用音频增强器：--enhancers deepfilternet resembleai mayavoz。将按您写入的顺序执行。默认情况下不设置增强器。目前，deepfilternet在增强和降噪音频时效果最佳。
--datasets：有可用的额外数据集类型：metavoice和librispeech。librispeech处于测试版。--datasets metavoice librispeech

<a name="examples">示例：</a>

从文件输入：

#不使用增强器
python speech_dataset_generator/main.py --input_file_path /path/to/audio/file.mp3 --output_directory /output/directory --range_times 5-10 --datasets metavoice

#使用deepfilternet增强器
python speech_dataset_generator/main.py --input_file_path /path/to/audio/file.mp3 --output_directory /output/directory --range_times 4-10 --enhancers deepfilternet

#使用resembleai增强器
python speech_dataset_generator/main.py --input_file_path /path/to/audio/file.mp3 --output_directory /output/directory --range_times 4-10 --enhancers resembleai

#组合增强器
python speech_dataset_generator/main.py --input_file_path /path/to/audio/file.mp3 --output_directory /output/directory --range_times 4-10 --enhancers deepfilternet resembleai

从文件夹输入：

python speech_dataset_generator/main.py --input_folder /path/to/folder/of/audios --output_directory /output/directory --range_times 4-10 --enhancers deepfilternet

从YouTube输入（单个视频或播放列表）：

# YouTube单个视频
python speech_dataset_generator/main.py --youtube_download https://www.youtube.com/watch\?v\=ID --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#结合YouTube视频和输入文件
python speech_dataset_generator/main.py --youtube_download https://www.youtube.com/watch\?v\=ID  --input_file_path /path/to/audio/file.mp3 --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#结合YouTube视频和输入文件夹
python speech_dataset_generator/main.py --youtube_download https://www.youtube.com/watch\?v\=ID  --input_folder /path/to/folder/of/audios --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

从LibriVox输入（一本或多本有声书）：

# LibriVox单本有声书
python speech_dataset_generator/main.py --librivox_download https://librivox.org/audio-book-url/ --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#一次处理多本LibriVox有声书，此例中只有2本，但你可以传入n个url
python speech_dataset_generator/main.py --librivox_download https://librivox.org/audio-book-url/ https://librivox.org/another-audio-book-url/ --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#结合LibriVox有声书和输入文件
python speech_dataset_generator/main.py --librivox_download https://librivox.org/audio-book-url/  --input_file_path /path/to/audio/file.mp3 --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#结合LibriVox有声书和输入文件夹
python speech_dataset_generator/main.py --librivox_download https://librivox.org/audio-book-url/  --input_folder /path/to/folder/of/audios --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#你还可以下载YouTube音频并与LibriVox结合
python speech_dataset_generator/main.py --librivox_download https://librivox.org/audio-book-url/ --youtube_download https://www.youtube.com/watch\?v\=ID --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

从TED演讲输入（一个或多个TED演讲）：

# TED演讲单个视频
python speech_dataset_generator/main.py --tedtalks_download https://download.ted.com/talks/video-talk.mp3 --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#一次处理多个TED演讲视频，此例中只有2个，但你可以传入n个url
python speech_dataset_generator/main.py --tedtalks_download https://download.ted.com/talks/video-talk.mp3 https://download.ted.com/talks/another-video-talk.mp3 --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#结合TED演讲视频和输入文件
python speech_dataset_generator/main.py --tedtalks_download https://download.ted.com/talks/video-talk.mp3  --input_file_path /path/to/audio/file.mp3 --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

#结合TED演讲视频和输入文件夹
python speech_dataset_generator/main.py --tedtalks_download https://download.ted.com/talks/video-talk.mp3  --input_folder /path/to/folder/of/audios --output_directory /output/directory --range_times 5-15 --enhancers deepfilternet resembleai

注意事项

<a name="multilingual">多语言支持：</a>

本项目使用Whisper，因此支持多语言。这里你可以查看当前支持的语言列表。

音频增强参数

你可以组合使用--enhancers。可用的选项有"deepfilternet"、"resembleai"和"mayavoz"。

如果传入多个，它们将按照传入的顺序执行。如果不传入enhancers，则不使用任何增强器。

默认情况下，不使用任何增强器。

你可以在输入中组合所有增强器。

Deepfilternet

我建议对噪声较大的音频使用deepfilternet。它在降噪方面效果最好。

Resembleai

Resembleai的输出声音有时可能会有些失真。因此，它并不总是一个好选择。它可以降噪和增强。如果你同时使用deepfilternet和resembleai，可以禁用resembleai的降噪功能。

对于resembleai，你可以在audio_manager.py中调整其参数

solver = "midpoint" #默认有"rk4"、"euler"和"midpoint"可选

denoising = True

nfe = 128 #范围从1到128，如果输出声音像磁带，你可以减小这个值

tau = 0 #范围从0到1，最好禁用

Mayavoz

Mayavoz的预训练模型只适用于16000采样率。只有在输入源也是16000 Hz时才推荐使用。

音频并不总是100%被分割成子文件

输入音频可能不会被完全使用。原因如下：

range_times不适合转录的片段。
片段包含音乐或质量不够好（MOS低于3），即使经过增强。

如果你没有使用增强器，而片段因质量不佳被丢弃，你可以尝试使用--enhancers参数，选择deepfilternet、resembleai、mayavoz或组合它们。查看示例部分了解如何使用。

性别检测

你可以使用包含多个说话者和多种性别的输入音频。每个说话者将被分离成一个片段，并从该片段中识别性别。

本项目中有一个这种情况的示例音频。它位于./assets/example_audio_1.mp3 你可以在speech_dataset_generator_example.ipynb中尝试，无需编码。

下一步计划

外部输入源

YouTube
Librivox
TED演讲

向量数据库

将说话者嵌入存储在Chroma向量数据库中

重构代码

所有内容都在main.py中。代码需要重新组织。

语速

检测每个句子的语速，并将其添加到csv输出文件中。指标包括每分钟字数（wpm）和每分钟音节数（spm）

音频增强器

deepfilternet
resembleai
mayavoz
espnet 语音增强

Docker镜像

创建Docker镜像以便使用。

Docker 使用示例（镜像尚未提供）

docker run -p 4000:80 -e HF_TOKEN=your_hf_token \
  -v /your/local/output/folder:/app/output \
  --gpus all \
  davidmartinrius/speech-dataset-generator \
  --input_file /app/assets/example_audio_1.wav \
  --output_directory /app/output \
  --range_times 4-10 \
  --enhancers deepfilternet resembleai

docker run -p 4000:80 -e HF_TOKEN=your_hf_token \
  -v /your/local/output/folder:/app/output \
  -v /your/audio/file.mp3:/app/file.wav \
  --gpus all \
  davidmartinrius/speech-dataset-generator \
  --input_file /app/file.wav \
  --output_directory /app/output \
  --range_times 4-10 \
  --enhancers deepfilternet resembleai