ZMM-TTS: 基于自监督离散语音表示的零样本多语言多说话人语音合成

简介

这是提交给IEEE TASLP的ZMM-TTS的代码。本文提出了ZMM-TTS，一个利用大规模预训练自监督模型量化潜在语音表示的多语言多说话人框架。我们的论文首次将基于文本和语音的自监督学习模型的表示结合到多语言语音合成任务中。我们通过一系列实验进行了全面的主观和客观评估。我们的模型在六种高资源语言的已见和未见说话人的语音自然度和相似度方面都被证明是有效的。我们还测试了我们方法在两种假设的低资源语言上的效果。结果很有希望，表明我们提出的方法即使没有新的未见语言的任何训练数据，也能合成可理解且与目标说话人声音高度相似的音频。

欢迎尝试我们的代码和在不同语言上预训练的模型！

发布

[01/20] 🔥 我们发布了在6种语言(英语、法语、德语、葡萄牙语、西班牙语和瑞典语)公开数据集上预训练的代码和模型。

样本

样本可在我们的演示页面上找到。

安装

ZMM-TTS 需要 Python>=3.8，以及较新版本的 PyTorch。要安装 ZMM-TTS 并快速合成，您可以从此仓库运行：

git clone https://github.com/nii-yamagishilab-visitors/ZMM-TTS.git

cd ZMM-TTS
pip3 install -r requirements.txt
#此外，您可能需要安装这些库以支持完整功能。
pip install transformers  #用于支持 XLSR-53 和 XphoneBERT 模型。
pip install speechbrain   #用于提取说话人嵌入。

如果您想尝试 IPA 表示，您需要安装 Epitran。

预训练自监督模型

模型	模态	语言	训练数据
XLSR-53	音频	53	56K 小时
ECAPA-TDNN	音频	> 5	2794 小时
XPhoneBERT	文本	94	3.3亿句

使用方法

多语言多说话人数据集 MM6

在我的论文中，我们使用的训练数据包含了 GlobalPhone，遗憾的是这不是开源数据。考虑到公开的多语言多说话人语音合成数据库的稀缺性，我基于 MLS 和 NHT Swedish 数据库设计了以下训练数据库，并将其称为 MM6。(似乎 NST 不再开放瑞典语的下载，在这种情况下，您应该从挪威语言银行申请这些数据)。如果您有 GlobalPhone 数据集，您可以尝试与我们论文相同的训练数据 Dataset/train_paper.txt。

语言	性别	说话人数	句子数	时长(小时)	数据库
英语	女	20	4000	13.9	MLS
英语	男	20	4000	13.9	MLS
法语	女	20	4000	13.9	MLS
法语	男	20	4000	13.9	MLS
德语	女	20	4000	13.9	MLS
德语	男	20	4000	13.9	MLS
葡萄牙语	女	16	3741	13.0	MLS
葡萄牙语	男	20	4175	14.5	MLS
西班牙语	女	20	3519	12.2	MLS
西班牙语	男	20	3786	13.1	MLS
瑞典语	女	0	0	0
瑞典语	男	20	4000	13.9	NST

下载和标准化数据

您可以通过以下下载和标准化脚本生成 MM6 数据集：

bash scripts/download.sh   #下载 MLS 数据。
python prepare_data/creat_meta_data_mls.py #生成说话人-性别-语言平衡数据。
#我们建议您使用 sv56 来标准化 MLS 音频。
bash scripts/norm_wav.sh

如果您想获取 NHT Swedish 数据，请联系挪威语言银行，并将其解压到 Dataset/origin_data/。或者，您也可以简单地考虑排除瑞典语。

#瑞典语音频已经标准化
python prepare_data/creat_meta_data_swe.py

这个MM6是一个多语言数据集,包含大致平衡的说话人和性别混合,我们鼓励你也尝试其他任务。

预处理

下载并标准化wav文件后,你可以在Dataset文件夹中生成如下结构:

|--Dataset
     |--MM6
         |--wavs          #存储音频文件
     |--preprocessed_data #存储预处理数据:文本、特征等
         |--MM6
             |--train.txt

你可以在Dataset/MM6/wavs/中找到wav文件,在Dataset/preprocessed_data/ZMM6/train.txt中找到元数据文件。 train.txt的内容如下:

名称|数据库|语言|说话人|文本
7756_9025_000004|MM6|英语|7756|我也踮着脚尖跟着他,就在他的手放在衣柜门上时,我的手掐住了他的喉咙。他个子矮小,不是我的对手

1. 提取离散编码索引和表示:

bash scripts/extract_discrete.sh

1. 提取说话人嵌入:

bash scripts/extract_spk.sh

1. 提取文本序列:

python prepare_data/extract_text_seq_from_raw_text.py

1. 提取梅尔频谱图:

python prepare_data/compute_mel.py

1. 计算先验对齐概率:

python prepare_data/compute_attention_prior.py

训练模型

1. 训练txt2vec模型:

#使用XphoneBERT:
python txt2vec/train.py --dataset MM6 --config MM6_XphoneBERT
#使用字符(字母):
python txt2vec/train.py --dataset MM6 --config MM6_Letters
#使用IPA:
python txt2vec/train.py --dataset MM6 --config MM6_IPA
#如果你想训练不带语言层的模型,可以使用xxx_wo配置,如:
python txt2vec/train.py --dataset MM6 --config MM6_XphoneBERT_wo

注意:使用XphoneBERT时,请在1/4迭代后将model.yaml中的needUpdate设为True。

2. 训练vec2mel模型:

python vec2mel/train.py --dataset MM6 --config MM6

对于txt2vec和vec2mel模型的训练,我们使用了16的批量大小,训练了120万步。在1块Tesla A100 GPU上大约需要3天。

3. 训练vec2wav模型:

python prepare_data/creat_lists.py
python vec2wav/train.py -c Config/vec2wav/vec2wav.yaml
#如果你想训练不带语言层的模型:
python vec2wav/train.py -c Config/vec2wav/vec2wav_wo.yaml

对于vec2wav的训练,我们使用了16的批量大小,训练了100万步。在1块Tesla A100 GPU上大约需要3天。

1. 训练HifiGAN模型:

python Vocoder_HifiGAN_Model/train.py --config Config/config_16k_mel.json

对于HifiGAN的训练,我们使用了16的批量大小,训练了100万步。在1块Tesla A100 GPU上大约需要3天。

测试模型

1. 准备测试数据:
- a. 测试元数据文件Dataset/MM6/test.txt。
- b. 参考说话人嵌入在Dataset/MM6/test_spk_emb/中。
1. 生成样本
```
bash test_scripts/quick_test.sh
```
当然,你也可以从谷歌云盘下载我们预训练的模型。将其放在相应的Train_log目录中。训练日志可以在相应的Train_log文件中找到。
1. 结果将在test_result文件中找到。

待办事项

少样本训练脚本。
任何语言的零样本推理脚本。

引用

如果你在论文中使用了这个代码、结果或MM6数据集,请引用我们的工作:

@article{gong2023zmm,
  title={ZMM-TTS: Zero-shot Multilingual and Multispeaker Speech Synthesis Conditioned on Self-supervised Discrete Speech Representations},
  author={Gong, Cheng and Wang, Xin and Cooper, Erica and Wells, Dan and Wang, Longbiao and Dang, Jianwu and Richmond, Korin and Yamagishi, Junichi},
  journal={arXiv preprint arXiv:2312.14398},
  year={2023}
}