Expressive-FastSpeech2

Expressive-FastSpeech2 项目介绍

项目背景

Expressive-FastSpeech2 是一个基于 PyTorch 的实现项目，旨在推动非自回归的表达性文本到语音（TTS）合成技术的发展。这类技术涵盖了情感 TTS 和对话 TTS 等应用场景。该项目致力于为未来的研究和应用奠定基础，特别是在情感丰富的语音合成方面。为了满足不同语言的需求，项目使用了韩国的 AIHub 多模态视频 AI 数据集和英语的 IEMOCAP 数据库。

项目贡献

1. 非自回归表达性 TTS：Expressive-FastSpeech2 的重大贡献之一在于其非自回归的表达性 TTS 模型。这种模型能够更自然地表达情感状态，适用于不同的语境和场景。

2. 数据标注处理：项目展示了如何有效处理新数据集，即便是不同语言的数据集也能在非自回归情感 TTS 的训练中取得成功。

3. 中英韩语的 TTS 支持：除了英语之外，项目还拓展了对韩语的支持。在训练中考虑语言特定特性（如使用蒙特利尔强制对齐器进行训练）的情况下，该项目提供了一个广泛的视角。

4. 语言适配：对于想要适配其他语言的用户，项目提供了详尽的指南，帮助用户用自己的语言和数据集进行训练。

项目结构

FastSpeech2 是项目采用的基础非自回归多发言人 TTS 框架。为更好地理解项目，可以先阅读 FastSpeech2 的相关论文和代码。

项目主要包含以下模块：

• 情感 TTS：实现了由情感端到端神经语音合成器提出的基本范式。不同开发分支涵盖了对情感描述符的条件赋予。

  • categorical branch：仅对分类情感描述符进行条件赋予（如快乐、悲伤等）。
  • continuous branch：在分类情感描述符之外，还对连续情感描述符（如唤醒度、效价等）进行条件赋予。

• 对话 TTS：实现了适用于语音代理的对话端到端 TTS。

  • conversational branch：在对话历史基础上进行条件赋予。

引用

如果您希望引用该实现或进行参考，请使用以下方式进行引用：

@misc{lee2021expressive_fastspeech2,
  author = {Lee, Keon},
  title = {Expressive-FastSpeech2},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/keonlee9420/Expressive-FastSpeech2}}
}

参考文献

该项目参考了多个重要的开源项目和论文，这些资源为项目的实现提供了重要的技术支持和背景资料：

• ming024 的 FastSpeech2
• HGU-DLLAB 的 Korean-FastSpeech2-Pytorch
• hccho2 的 Tacotron2-Wavenet-Korean-TTS
• carpedm20 的多发言人 Tacotron tensorflow 实现

Expressive-FastSpeech2 项目以其创新的非自回归模型，灵活的数据处理方法，以及多语言支持的强大功能，为语音合成领域的研究和应用打开了新的可能性。