GPT-SoVITS

GPT-SoVITS项目介绍

GPT-SoVITS是一个强大的少样本语音转换和文本转语音WebUI工具。该项目结合了GPT和SoVITS模型,旨在提供高质量的语音合成和转换功能。

主要特性

1. 零样本TTS: 只需输入5秒的语音样本,就可以实现即时的文本到语音转换。这意味着用户无需大量训练数据就能快速生成目标声音。

2. 少样本TTS: 通过仅1分钟的训练数据进行微调,可以显著提高声音的相似度和真实感。这为用户提供了更好的定制化选择。

3. 跨语言支持: 支持在不同于训练数据集的语言中进行推理,目前支持英语、日语、韩语、粤语和中文。这大大扩展了模型的应用范围。

4. 集成工具: WebUI集成了多种实用工具,包括:

   • 人声伴奏分离
   • 自动训练集分割
   • 中文语音识别(ASR)
   • 文本标注

   这些工具可以帮助初学者轻松创建训练数据集和GPT/SoVITS模型。

使用方法

1. 安装: 项目提供了Windows集成包、Linux和macOS的安装方法,以及Docker部署选项。用户可以根据自己的操作系统选择合适的安装方式。

2. 预训练模型: 项目需要下载多个预训练模型,包括GPT-SoVITS模型、G2PW模型(用于中文TTS)、UVR5模型(用于人声分离)以及ASR模型(用于语音识别)。

3. 数据集格式: TTS标注文件采用特定格式,包含语音路径、说话人名称、语言和文本内容。

4. 微调和推理: 通过WebUI界面可以轻松进行模型微调和语音合成。用户可以上传音频,进行切片、降噪、ASR等预处理,然后进行模型微调。

5. 推理: 使用微调后的模型可以在推理界面中进行文本到语音的转换。

最新版本特性

GPT-SoVITS v2版本带来了多项改进:

1. 新增支持韩语和粤语
2. 优化了文本前端处理
3. 预训练模型从2000小时扩展到5000小时
4. 提高了低质量参考音频的合成质量

总结

GPT-SoVITS项目为用户提供了一个功能强大、易于使用的语音合成和转换工具。它的少样本学习能力和跨语言支持使其在个人和商业应用中都具有巨大潜力。无论是想要创建个性化语音助手,还是进行语音本地化,GPT-SoVITS都能提供高质量的解决方案。