coqui-ai-TTS

🐸Coqui TTS 新闻

📣 原始未维护仓库的分支。新的PyPI包：coqui-tts
📣 ⓍTTSv2已发布，支持16种语言，整体性能更佳。
📣 ⓍTTS微调代码已发布。查看示例配方。
📣 ⓍTTS现在可以实现<200ms延迟的流式传输。
📣 我们的生产级TTS模型ⓍTTS已发布，可支持13种语言。博客文章，演示，文档
📣 🐶Bark现已可用于无约束的语音克隆推理。文档
📣 您可以在🐸TTS中使用约1100个Fairseq模型。
📣 🐸TTS现在支持🐢Tortoise，推理速度更快。文档

<img src="https://yellow-cdn.veclightyear.com/835a84d5/a26cb7ad-5367-4ace-9060-65cfaa600214.png" height="56"/>

🐸TTS是一个用于高级文本转语音生成的库。

🚀 支持1100多种语言的预训练模型。

🛠️ 提供用于训练新模型和微调任何语言现有模型的工具。

📚 包含数据集分析和整理的实用工具。

GithubActions

</div>

💬 在哪里提问

请使用我们专门的渠道进行提问和讨论。公开分享帮助更有价值，因为更多人可以从中受益。

类型	平台
🚨 错误报告	GitHub问题追踪器
🎁 功能请求和想法	GitHub问题追踪器
👩‍💻 使用问题	GitHub讨论
🗯 一般讨论	GitHub讨论或 Discord

原始仓库中的问题和讨论仍然是有用的信息来源。

🔗 链接和资源

类型	链接
💼 文档	ReadTheDocs
💾 安装	TTS/README.md
👩‍💻 贡献	CONTRIBUTING.md
📌 路线图	主要开发计划
🚀 已发布模型	标准模型和约1100种语言的Fairseq模型
📰 论文	TTS论文

特性

用于文本转语音任务的高性能深度学习模型。
- 文本到频谱图模型（Tacotron、Tacotron2、Glow-TTS、SpeedySpeech）。
- 高效计算说话人嵌入的说话人编码器。
- 声码器模型（MelGAN、Multiband-MelGAN、GAN-TTS、ParallelWaveGAN、WaveGrad、WaveRNN）
快速高效的模型训练。
终端和Tensorboard上的详细训练日志。
支持多说话人TTS。
高效、灵活、轻量但功能完整的Trainer API。
已发布且可直接使用的模型。
dataset_analysis下用于整理文本转语音数据集的工具。
使用和测试模型的实用工具。
模块化（但不过度）的代码库，便于实现新想法。

模型实现

频谱图模型

Tacotron: 论文
Tacotron2: 论文
Glow-TTS: 论文
Speedy-Speech: 论文
Align-TTS: 论文
FastPitch: 论文
FastSpeech: 论文
FastSpeech2: 论文
SC-GlowTTS: 论文
Capacitron: 论文
OverFlow: 论文
Neural HMM TTS: 论文
Delightful TTS: 论文

端到端模型

ⓍTTS: 博客
VITS: 论文
🐸 YourTTS: 论文
🐢 Tortoise: 原始仓库
🐶 Bark: 原始仓库

注意力方法

引导注意力: 论文
前向后向解码: 论文
Graves注意力: 论文
双解码器一致性: 博客
动态卷积注意力: 论文
对齐网络: 论文

说话人编码器

GE2E: 论文
角度损失: 论文

声码器

MelGAN: 论文
MultiBandMelGAN: 论文
ParallelWaveGAN: 论文
GAN-TTS判别器: 论文
WaveRNN: 来源
WaveGrad: 论文
HiFiGAN: 论文
UnivNet: 论文

语音转换

FreeVC: 论文

您也可以帮助我们实现更多模型。

安装

🐸TTS 在 Ubuntu 22.04 上使用 python >= 3.9, < 3.13 进行测试。

如果您只对使用已发布的🐸TTS模型合成语音感兴趣，从PyPI安装是最简单的选择。

pip install coqui-tts

如果您计划编码或训练模型，请克隆🐸TTS并在本地安装。

git clone https://github.com/idiap/coqui-ai-TTS
cd coqui-ai-TTS
pip install -e .

可选依赖

以下附加选项允许安装可选依赖：

名称	描述
`all`	所有可选依赖，除了`dev`和`docs`
`dev`	开发依赖
`docs`	构建文档的依赖
`notebooks`	仅在笔记本中使用的依赖
`server`	运行TTS服务器的依赖
`bn`	孟加拉语G2P
`ja`	日语G2P
`ko`	韩语G2P
`zh`	中文G2P
`languages`	所有特定语言的依赖

您可以使用以下命令之一安装附加选项：

pip install coqui-tts[server,ja]
pip install -e .[server,ja]

平台

如果您使用的是Ubuntu（Debian），您也可以运行以下命令进行安装。

$ make system-deps  # 旨在用于Ubuntu（Debian）。如果您使用不同的操作系统，请告诉我们。
$ make install

如果您使用的是Windows，👑@GuyPaddock 在这里写了安装说明（请注意，这些说明已过时，例如，您需要至少使用Python 3.9）。

Docker镜像

您也可以使用Docker镜像尝试TTS而无需安装。只需运行以下命令，您就可以在不安装的情况下运行TTS。

docker run --rm -it -p 5002:5002 --entrypoint /bin/bash ghcr.io/coqui-ai/tts-cpu
python3 TTS/server/server.py --list_models #获取可用模型列表
python3 TTS/server/server.py --model_name tts_models/en/vctk/vits # 启动服务器

然后您可以在这里体验TTS服务器。有关Docker镜像的更多详细信息（如GPU支持）可以在这里找到。

使用🐸TTS合成语音

🐍 Python API

运行多说话人和多语言模型

import torch
from TTS.api import TTS

# 获取设备
device = "cuda" if torch.cuda.is_available() else "cpu"

# 列出可用的🐸TTS模型
print(TTS().list_models())

# 初始化TTS
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to(device)

# 运行TTS
# ❗ 由于这是一个多语言语音克隆模型，我们必须设置目标speaker_wav和language
# 文本到语音输出振幅值列表
wav = tts.tts(text="Hello world!", speaker_wav="my/cloning/audio.wav", language="en")
# 文本到语音输出到文件
tts.tts_to_file(text="Hello world!", speaker_wav="my/cloning/audio.wav", language="en", file_path="output.wav")

运行单说话人模型

# 使用目标模型名称初始化TTS
tts = TTS(model_name="tts_models/de/thorsten/tacotron2-DDC", progress_bar=False).to(device)

# 运行TTS
tts.tts_to_file(text="Ich bin eine Testnachricht.", file_path=OUTPUT_PATH)

# 使用YourTTS在英语、法语和葡萄牙语中进行语音克隆的示例
tts = TTS(model_name="tts_models/multilingual/multi-dataset/your_tts", progress_bar=False).to(device)
tts.tts_to_file("This is voice cloning.", speaker_wav="my/cloning/audio.wav", language="en", file_path="output.wav")
tts.tts_to_file("C'est le clonage de la voix.", speaker_wav="my/cloning/audio.wav", language="fr-fr", file_path="output.wav")
tts.tts_to_file("Isso é clonagem de voz.", speaker_wav="my/cloning/audio.wav", language="pt-br", file_path="output.wav")

语音转换示例

将source_wav中的声音转换为target_wav的声音

tts = TTS(model_name="voice_conversion_models/multilingual/vctk/freevc24", progress_bar=False).to("cuda")
tts.voice_conversion_to_file(source_wav="my/source.wav", target_wav="my/target.wav", file_path="output.wav")

结合语音转换模型的语音克隆示例

通过这种方式，你可以使用🐸TTS中的任何模型来克隆声音。


tts = TTS("tts_models/de/thorsten/tacotron2-DDC")
tts.tts_with_vc_to_file(
    "Wie sage ich auf Italienisch, dass ich dich liebe?",
    speaker_wav="target/speaker.wav",
    file_path="output.wav"
)

使用Fairseq模型进行约1100种语言的文本转语音🤯示例。

对于Fairseq模型，使用以下名称格式：tts_models/<lang-iso_code>/fairseq/vits。你可以在这里找到语言ISO代码，并在这里了解Fairseq模型。

# 使用fairseq模型进行TTS
api = TTS("tts_models/deu/fairseq/vits")
api.tts_to_file(
    "Wie sage ich auf Italienisch, dass ich dich liebe?",
    file_path="output.wav"
)

命令行`tts`

在命令行上合成语音。

你可以使用自己训练的模型或从提供的列表中选择一个模型。

如果不指定任何模型，则使用基于LJSpeech的英语模型。

单说话人模型

列出提供的模型：
```
$ tts --list_models
```

获取模型信息（适用于tts_models和vocoder_models）：

按类型/名称查询： model_info_by_name使用--list_models中的名称。

$ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"

例如：

$ tts --model_info_by_name tts_models/tr/common-voice/glow-tts
$ tts --model_info_by_name vocoder_models/en/ljspeech/hifigan_v2

按类型/索引查询： model_query_idx使用--list_models中的相应索引。

$ tts --model_info_by_idx "<model_type>/<model_query_idx>"

例如：

$ tts --model_info_by_idx tts_models/3

按完整名称查询模型信息：

$ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"

使用默认模型运行TTS：

$ tts --text "Text for TTS" --out_path output/path/speech.wav

运行TTS并输出生成的TTS wav文件数据：

$ tts --text "Text for TTS" --pipe_out --out_path output/path/speech.wav | aplay

使用TTS模型及其默认声码器模型运行：

$ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav

例如：

$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --out_path output/path/speech.wav

使用列表中的特定TTS和声码器模型运行：

$ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --vocoder_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav

例如：

$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --vocoder_name "vocoder_models/en/ljspeech/univnet" --out_path output/path/speech.wav

运行你自己的TTS模型（使用Griffin-Lim声码器）：

$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav

运行你自己的TTS和声码器模型：

$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav
    --vocoder_path path/to/vocoder.pth --vocoder_config_path path/to/vocoder_config.json

多说话人模型

列出可用的说话人并从中选择一个<speaker_id>：

$ tts --model_name "<language>/<dataset>/<model_name>"  --list_speaker_idxs

使用目标说话人ID运行多说话人TTS模型：

$ tts --text "Text for TTS." --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>"  --speaker_idx <speaker_id>

运行你自己的多说话人TTS模型：

$ tts --text "Text for TTS" --out_path output/path/speech.wav --model_path path/to/model.pth --config_path path/to/config.json --speakers_file_path path/to/speaker.json --speaker_idx <speaker_id>

语音转换模型

$ tts --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>" --source_wav <path/to/speaker/wav> --target_wav <path/to/reference/wav>

目录结构

|- notebooks/       （用于模型评估、参数选择和数据分析的Jupyter笔记本。）
|- utils/           （通用工具。）
|- TTS
    |- bin/             （所有可执行文件的文件夹。）
      |- train*.py                  （训练你的目标模型。）
      |- ...
    |- tts/             （文本转语音模型）
        |- layers/          （模型层定义）
        |- models/          （模型定义）
        |- utils/           （模型特定工具。）
    |- speaker_encoder/ （说话人编码器模型。）
        |- (同上)
    |- vocoder/         （声码器模型。）
        |- (同上)