tacotron

Tacotron 项目简介

Tacotron 是一个端到端的文本转语音合成模型，它利用 TensorFlow 进行开发，并提供了详尽的文档指导。这个模型旨在将输入的文本直接转换为自然流畅的语音，是一种新兴的语音合成方法。

项目需求

要运行 Tacotron，用户需要安装以下库和工具：

• NumPy：版本必须大于等于 1.11.1
• TensorFlow：版本必须大于等于 1.3
• Librosa、Tqdm、Matplotlib 和 Scipy：这些库用于音频处理和可视化

数据集

Tacotron 项目使用了三种不同的语音数据集来训练模型：

1. LJ Speech Dataset：这是一个广泛使用的基准数据集，共计 24 小时的语音样本，是由 Keith Ito 提供的公开数据集。
2. Nick Offerman 的有声读物：包含 18 小时的语音数据，用于测试模型在较少数据量下的学习能力。
3. 世界英语圣经 (World English Bible)：这是一部公共领域中的现代英语版圣经，提供 72 小时的语音数据。每章被逐句分割并与文本对齐，用户可以通过 Kaggle 下载相关数据集。

模型训练步骤

1. 下载数据集：用户可以选择下载 LJ Speech Dataset 或准备自己的数据。
2. 配置超参数：在 hyperparams.py 文件中调整训练超参数，如果需要进行预处理，请将 prepro 设置为 True。
3. 开始训练：运行 python train.py 命令。在预处理数据时，需先运行 python prepro.py。
4. 评估模型：定期运行 python eval.py 来对模型进行评估。

样本合成

Tacotron 使用 哈佛句子 来进行语音样本的合成，并已在项目中包含。用户可以运行 python synthesize.py 来生成语音文件，并在 samples 文件夹中查看结果。

注意事项

在训练过程中，注意力图的监控是极为重要的。好的注意力图表现出线性对齐的特征，如果它变得像训练初期那样混乱，则训练可能出问题，需要从注意力图良好的检查点重新开始。

对于多输出帧预测的技巧，项目团队经过试验发现采用预测连续帧的方法较为有效，确保了注意力的提升。

学习率也是一项关键的超参数。在0.002的初始学习率下，模型难以学习到有效注意力，而采用0.001的初始学习率后，注意力变得清晰且容易训练出连贯的语音。

与原始论文的差异

• 使用了 Noam 风格的冷启动和衰减。
• 实现了梯度裁剪。
• 采用了成批的训练数据。
• 在后处理网络的最后一层卷积之后，进行仿射变换将维度提升到 128，而非零填充。

其他引用该项目的论文

• 基于深度卷积网络的高效训练文本转语音系统
• 故事时间——面向有声读物的端到端神经网络

以上信息展示了 Tacotron 项目的基本内容和功能，这一解决方案简化了文本转语音的过程，并通过可视化工具和预处理功能为用户提供了极大的便利。