Data-Speech

Data-Speech是一套用于标记语音数据集的实用脚本集。

其目的是提供一个简单、清晰的代码库，用于应用可能在开发基于语音的AI模型(如文本到语音引擎)过程中需要的音频转换(或注释)。

其主要用途是复现Dan Lyth和Simon King的研究论文使用合成注释对高保真文本到语音进行自然语言引导中的注释方法，该方法使用自然语言描述来标记各种说话人特征。

应用这些工具使我们能够准备并发布LibriTTS-R和MLS英语版本的标记版本。

这个仓库旨在配合Parler-TTS库使用，后者包含了Parler-TTS(一个新的高质量文本到语音模型系列)的推理和训练代码。

📖 快速索引

要求
注释数据集以微调Parler-TTS
从头开始注释数据集
使用Data-Speech过滤您的语音数据集
❓ 常见问题
日志

设置

在安装要求之前，您首先需要克隆这个仓库。

git clone git@github.com:huggingface/dataspeech.git
cd dataspeech
pip install -r requirements.txt

注释数据集以微调Parler-TTS

在以下示例中，我们将从Jenny TTS数据集加载30小时的音频数据，这是一个高质量的单一说话人TTS数据集，来自一位名叫Jenny的爱尔兰女性说话人。

这里的目标是创建Jenny TTS的注释版本，以便在此数据集上微调Parler-TTS v1 checkpoint。

通过一个类似于FAQ中描述的脚本，我们已经将数据集上传到HuggingFace hub，名称为reach-vb/jenny_tts_dataset。

欢迎点击上面的链接，使用hub查看器收听Jenny TTS数据集的一些样本。

[!重要] 有关幕后发生的更详细解释，请参阅从头开始注释数据集部分。

我们将：

使用连续变量注释Jenny数据集，以测量语音特征
将这些注释映射到表征语音特征的文本分类
从这些文本分类创建自然语言描述

1. 注释Jenny数据集

我们将使用main.py来获取以下连续变量： - 说话速度 (音素数 / 话语长度) - 尺度不变信号失真比(SI-SDR) - 混响 - 语音单调性

python main.py "reach-vb/jenny_tts_dataset" \
  --configuration "default" \
  --text_column_name "transcription" \
  --audio_column_name "audio" \
  --cpu_num_workers 8 \
  --rename_column \
  --repo_id "jenny-tts-tags-v1" \
  --apply_squim_quality_estimation

请注意，如果您有GPU可用，脚本运行速度会更快。它会自动扩展到您环境中可用的所有GPU。

生成的数据集将被推送到HuggingFace hub上您的HuggingFace handle下。我的被推送到了ylacombe/jenny-tts-tags-v1。

2. 将注释映射到文本分类

由于这里的最终目标是在Jenny数据集上微调Parler-TTS v1 checkpoint，我们希望与后者模型训练所用数据集的文本分类保持一致。

通过以下命令可以轻松实现：

python ./scripts/metadata_to_text.py \
    "ylacombe/jenny-tts-tags-v1" \
    --repo_id "jenny-tts-tags-v1" \
    --configuration "default" \
    --cpu_num_workers "8" \
    --path_to_bin_edges "./examples/tags_to_annotations/v02_bin_edges.json" \
    --path_to_text_bins "./examples/tags_to_annotations/v02_text_bins.json" \
    --avoid_pitch_computation \
    --apply_squim_quality_estimation

感谢v02_bin_edges.json，我们不需要从头重新计算分类，上面的脚本只需几秒钟即可完成。

生成的数据集将被推送到HuggingFace hub上您的HuggingFace handle下。我的被推送到了ylacombe/jenny-tts-tags-v1。

您可以注意到，诸如slightly slowly、very monotone等文本分类已被添加到样本中。

3. 从这些文本分类创建自然语言描述

现在我们已经将文本分类与Jenny数据集关联起来，下一步是根据创建的几个特征创建自然语言描述。

在这里，我们决定创建使用名字Jenny的提示，这些提示看起来会像这样： 用非常富有表现力的声音，Jenny极其缓慢地发音。这个房间里有一些背景噪音，还有一点回声。

这一步通常需要更多资源和时间，应该使用一个或多个GPU。

run_prompt_creation_jenny.sh指示如何在Jenny数据集上运行它：

python ./scripts/run_prompt_creation.py \
  --speaker_name "Jenny" \
  --is_single_speaker \
  --is_new_speaker_prompt \
  --dataset_name "ylacombe/jenny-tts-tags-v1" \
  --dataset_config_name "default" \
  --model_name_or_path "mistralai/Mistral-7B-Instruct-v0.2" \
  --per_device_eval_batch_size 128 \
  --attn_implementation "sdpa" \
  --output_dir "./tmp_jenny" \
  --load_in_4bit \
  --push_to_hub \
  --hub_dataset_id "jenny-tts-tagged-v1" \
  --preprocessing_num_workers 24 \
  --dataloader_num_workers 24

像往常一样，我们指定了要注释的数据集名称和配置。model_name_or_path应该指向用于提示注释的transformers模型。您可以在这里找到此类模型的列表。在这里，我们使用了Mistral的7B模型的一个版本。

[!注意] 如果您想在多说话人数据集上使用此功能，您需要调整脚本的逻辑。首先，您需要移除--is_single_speaker和--speaker_name "Jenny"标志。

然后，有两种情况：

如果您想将名字与某些说话人关联，您需要传递说话人ID列名，以及一个将说话人ID映射到这些名字的JSON文件。例如，--speaker_id_column "speaker_id" --speaker_ids_to_name_json ./examples/prompt_creation/speaker_ids_to_names.json。请随时查看speaker_ids_to_names.json以获取灵感。

如果您不想将名字与说话人关联，您不需要做任何其他事情。

从头开始注释数据集

在以下示例中，我们将从LibriTTS-R数据集加载1,000小时的标记音频数据，并使用dataspeech库添加注释。生成的数据集包含离散注释标签，以及口语音频特征的连贯音频描述。

为了生成注释，需要完成3个步骤：

注释语音数据集以获取以下连续变量：
- 说话速度 (音素数 / 话语长度)
- 尺度不变信号失真比(SI-SDR)
- 混响
- 语音单调性
将先前的注释映射到离散关键词分类
从一组关键词创建自然语言描述

1. 预测注释

目前，main.py可用于生成说话速度、信噪比、混响、PESQ、SI-SDR和音高估计。

要使用它，您需要一个来自datasets库的数据集，可以是本地的或在hub上的。

python main.py "blabble-io/libritts_r" \
  --configuration "dev" \
  --output_dir ./tmp_libritts_r_dev/ \
  --text_column_name "text_normalized" \
  --audio_column_name "audio" \
  --cpu_num_workers 8 \
  --rename_column \
  --apply_squim_quality_estimation

在这里，我们使用了8个进程来执行不使用GPU的操作，即计算说话速度。如果环境中存在GPU，可以在GPU上计算的操作 - 即音高、信噪比和混响估计 - 将使用环境中可用的所有GPU。

您可以通过以下方式了解更多可以传递给main.py的参数：

python main.py --help

在/examples/tagging/run_main_1k.sh中，我们将初始命令行扩展到整个数据集。请注意，我们使用了repo_id参数将数据集推送到hub，生成了这个数据集。数据集查看器展示了已完成的工作,主要包括:

新增了以下列:
- utterance_pitch_std: 测量语音音高的标准差。
- utterance_pitch_mean: 测量语音的平均音高。
- snr: 信噪比
- c50: 混响估计
- speaking_rate
- phonemes: 用于计算说话速度
- pesq 和 si-sdr: 用于测量可懂度和噪声的代理指标,如此处所示
移除了音频列 - 这在处理大型数据集时特别有用,因为写入和推送音频数据可能成为瓶颈。

2. 将连续注释映射到关键词

下一步是将前几步的连续注释映射到关键词。为此,将连续注释映射到分类区间,然后与关键词关联。例如,说话速度可以与7个文本区间关联,分别是:"非常慢", "相当慢", "稍慢", "中等速度", "稍快", "相当快", "非常快"。

scripts/metadata_to_text.py在多个数据集的汇总统计数据上计算区间:

通过对说话者的所有语音片段的音高取平均值来计算说话者的音高。然后将计算得到的音高估计值与同性别说话者进行比较,从而得出说话者的音高关键词(从非常高音到非常低音)。
其余关键词是通过计算直方图得出的,直方图基于所有训练样本的连续变量计算,并去除了极端值,然后将关键词与每个区间关联。

python ./scripts/metadata_to_text.py "ylacombe/libritts-r-text-tags-v3+ylacombe/libritts-r-text-tags-v3" \
--configuration "clean+other" \
--output_dir "./tmp_tts_clean+./tmp_tts_other" \
--cpu_num_workers "8" \
--leading_split_for_bins "train" \
--plot_directory "./plots/" \
--path_to_text_bins "./examples/tags_to_annotations/v02_text_bins.json" \
--apply_squim_quality_estimation \

注意我们如何通过用"+"分隔相关参数来传递不同数据集的不同配置。

通过传递 --repo_id parler-tts/libritts-r-tags-and-text+parler-tts/libritts-r-tags-and-text，我们将结果数据集推送到了这个 hub 仓库。

请注意,这一步比前一步更微妙,因为我们通常希望收集各种各样的语音数据来计算准确的关键词。

确实,一些数据集,如 LibriTTS-R,只从一个或几个来源收集数据;对于 LibriTTS-R 来说,这些是有声读物,收集或处理数据的过程可能会导致同质化的数据,变化很小。就 LibriTTS-R 而言,数据已经被清理,噪音很小,混响很小,所收集的有声读物在语调上也很少有变化。

你可以通过以下方式了解更多关于可以传递给 main.py 的参数:

python main.py --help

3. 生成自然语言描述

现在我们已经将文本区间与我们的数据集关联起来,下一步是创建自然语言描述。为了实现这一点,我们将离散特征传递给 LLM,让它生成自然语言描述。这一步通常需要更多的资源和时间,应该使用一个或多个 GPU。可以通过以下两种方式之一执行:

使用基于 Accelerate 的脚本 scripts/run_prompt_creation.py,或
使用基于 TGI 的脚本 scripts/run_prompt_creation_llm_swarm.py

我们建议你首先尝试 Accelerate 脚本,因为它不对可用的 GPU 硬件做任何假设,因此更容易运行。如果你需要更快的推理,可以切换到 TGI 脚本,该脚本假设你有一个支持 Docker 的 SLURM 集群。

3.1 Accelerate 推理

scripts/run_prompt_creation.py 依赖于 accelerate 和 transformers 从 LLMs 生成自然语言描述。

examples/prompt_creation/run_prompt_creation_1k.sh 展示了如何在 8 个 GPU 上以半精度运行 LibriTTS-R:

accelerate launch --multi_gpu --mixed_precision=fp16 --num_processes=8 run_prompt_creation.py \
  --dataset_name "parler-tts/libritts-r-tags-and-text" \
  --dataset_config_name "clean" \
  --model_name_or_path "meta-llama/Meta-Llama-3-8B-Instruct" \
  --per_device_eval_batch_size 64 \
  --attn_implementation "sdpa" \
  --torch_compile \
  --dataloader_num_workers 4 \
  --output_dir "./" \
  --load_in_4bit \
  --push_to_hub \
  --hub_dataset_id "parler-tts/libritts-r-tags-and-text-generated" \
  --is_new_speaker_prompt \

像往常一样,我们定义了要注释的数据集名称和配置。model_name_or_path 应该指向用于提示注释的 transformers 模型。你可以在这里找到此类模型的列表。在这里,我们使用了 Meta 的 LLaMA-3 8B 模型的指令调优版本。如果你使用 LLaMA 或 Gemma,可以通过 --torch_compile 标志启用 torch compile,以获得最多 1.5 倍的推理速度提升。

examples/prompt_creation/ 文件夹包含更多示例。

特别是,(run_prompt_creation_1k_with_speaker_consistency.sh)[examples/prompt_creation/run_prompt_creation_1k_with_speaker_consistency.sh] 调整了前面的示例,但引入了说话者一致性。在这里,"说话者一致性"简单地意味着将某些说话者与特定名字关联。在这种情况下,与这些说话者相关的所有描述都将指定他们的名字,而不是生成匿名描述。

[!提示] 这个库中的脚本也可以作为一个起点,用于在大规模设置中将其他模型应用于datasets 库中的其他数据集。

例如,scripts/run_prompt_creation.py 可以被调整以使用其他 LLMs 和提示进行大规模推理。

3.2 TGI 推理

scripts/run_prompt_creation_llm_swarm.py 依赖于 TGI 和 LLM-Swarm 从 LLM 端点生成描述。与 Accelerate 脚本相比,它使用连续批处理,这可以将吞吐量提高多达 1.5 倍。它需要一个额外的依赖项 LLM-Swarm:

pip install git+https://github.com/huggingface/llm-swarm.git

examples/prompt_creation_llm_swarm/run_prompt_creation_1k.sh 展示了如何在 1 个 TGI 实例上运行 LibriTTS-R:

python run_prompt_creation_llm_swarm.py \
  --dataset_name "stable-speech/libritts-r-tags-and-text" \
  --dataset_config_name "clean" \
  --model_name_or_path "mistralai/Mistral-7B-Instruct-v0.2" \
  --num_instances "1" \
  --output_dir "./" \
  --push_to_hub \
  --hub_dataset_id "parler-tts/libritts-r-tags-and-text-generated"

请注意,该脚本依赖于 SLURM 文件 examples/prompt_creation_llm_swarm/tgi_h100.template.slurm,这是 Hugging Face H100 集群的模板配置。你可以根据你的集群更新配置。

总结

在 /examples 文件夹中,我们将这个方法应用于 MLS Eng 和 LibriTTS-R。生成的数据集被用于训练 Parler-TTS,这是一个新的文本到语音模型。

这个方法既可扩展又易于修改,希望能帮助 TTS 研究社区探索语音合成的新条件方式。

使用 Data-Speech 过滤你的语音数据集

虽然 README 的其余部分解释了如何使用这个仓库来创建语音话语的文本描述,但 Data-Speech 也可以用于对语音数据集进行过滤。

例如,你可以

使用预测注释步骤来预测 SNR 和混响。
过滤你的数据集以仅保留最高质量的样本。

你还可以,举例来说,过滤特定音高水平(例如只要低音声音),或特定说话速度(例如只要快速说话)。

常见问题

我需要什么样的数据集?

我们依赖于 datasets 库,它针对速度和效率进行了优化,并与 HuggingFace Hub 深度集成,允许轻松共享和加载。

为了使用这个仓库,你需要一个来自 datasets 的语音数据集,至少包含一个音频列和一个文本转录列。此外,你还需要性别和说话者 id 列,特别是如果你想计算音高的话。

我如何使用我拥有的数据集来使用这个仓库?

如果你有一个本地数据集,并想创建一个来自 datasets 的数据集来使用 Data-Speech,你可以使用以下方法或参考 dataset 文档了解更复杂的用例。

首先，您需要创建一个包含音频文件完整路径的csv文件。存放音频文件路径的列名可以是"audio"，但您也可以使用任何您喜欢的名称。您还需要一列包含音频的转录文本，这一列可以命名为"transcript"，但同样您可以使用任何您想要的名称。
一旦您有了这个csv文件，您可以这样将其加载到数据集中：

from datasets import DatasetDict

dataset = DatasetDict.from_csv({"train": PATH_TO_CSV_FILE})

然后您需要将音频列名转换为Audio，以便datasets理解它处理的是音频文件。

from datasets import Audio
dataset = dataset.cast_column("audio", Audio())

接下来您可以将数据集推送到hub：

dataset.push_to_hub(REPO_ID)

请注意，您可以通过在push_to_hub方法中传递private=True来将数据集设为私有。在这里可以找到其他可能的参数。

使用Data-Speech时，您可以将REPO_ID（在此处和上面替换为您想要的名称）作为数据集名称。

日志

[2024年8月]：Data-Speech更新版本，适用于Parler-TTS v1
- 新增指标：Pesq和SI-SDR，后者用于更好的噪声估计
- 改进的提示
- 提示创建可以处理说话者一致性和口音
[2024年4月]：发布Data-Speech第一个版本

致谢

本库建立在许多开源巨人的基础之上，我们在此向提供这些工具的他们表示最诚挚的感谢！

特别感谢：

来自Stability AI和爱丁堡大学的Dan Lyth和Simon King，发表了如此有前景且清晰的研究论文：利用合成注释对高保真文本到语音进行自然语言引导。
以及使用的众多库，即datasets、brouhaha、penn、g2p、accelerate和transformers。

引用

如果您觉得这个仓库有用，请考虑引用本工作以及原始的Stability AI论文：

@misc{lacombe-etal-2024-dataspeech,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Data-Speech},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/ylacombe/dataspeech}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}