FCH-TTS

FCH-TTS 项目介绍

项目背景

FCH-TTS 项目是一个旨在实现并行语音合成的开源项目。通过将文本转为语音，这个项目探索了不同方法及模型，以提高合成语音的质量及效率。

最新进展

• 语音风格迁移模块：项目新增了 encoder 分支用于开发语音风格迁移模块。
• SoftDTW 损失训练：softdtw 分支现在支持使用 SoftDTW 损失函数训练模型。
• 语音合成模块更新：合并了 wavegan 分支的功能到主分支，并删除了该分支，其中涉及使用不同的声码器。

目录结构

项目包含多个目录和文件以支持合成与训练，包括但不限于：

• config/：存放项目的配置文件。
• datasets/：用于数据处理。
• encoder/：包含声纹编码器。
• models/：合成模型的核心代码。
• pretrained/：提供预训练模型。
• vocoder/：实施声码器相关代码。

合成样例与预训练模型

合成样例可以在项目的 GitHub 页面中查看，而预训练模型则包含了使用不同数据集的模型，方便快速开始。

快速开始指南

1. 克隆仓库。
2. 安装项目所需的依赖。
3. 采用预训练模型进行语音合成，支持不同语种的语音生成。

如何训练

训练过程是分步进行的：

1. 准备数据，通过指定配置文件可调整数据处理。
2. 训练对齐模型，从而精确地定位语音的持续时间。
3. 提取持续时间以生成模型训练所需数据。
4. 使用提取的数据进行合成模型的训练。

数据集

项目支持多种语言的数据集，包括：

• 英语数据集LJSpeech、LibriSpeech
• 日语数据集JSUT
• 普通话数据集BiaoBei
• 韩语数据集KSS
• 俄语数据集RuLS
• 藏语数据集TWLSpeech

速度和质量评估

对 LJSpeech 数据集的训练速度优化良好，可以在普通的GPU上实现数小时内的初步语音合成。合成速度方面，在中端CPU和GPU配置下，表现出色。

遇到的问题

有些模型的适用性和准确性受数据集的质量和特定语音特征的限制。例如，普通话合成节奏问题、韩语语音质量等。

展望及待办事项

未来计划包括：

• 加强合成语音的质量评估。
• 进行更多语言和数据集的测试。
• 实现语音风格的迁移和音色变化。

联系方式

任何兴趣与疑问均可通过邮箱与项目作者沟通：atomicoo95@gmail.com