GenerSpeech入门学习资料 - 高保真零样本风格迁移TTS模型

GenerSpeech简介

GenerSpeech是一个面向域外(Out-of-Domain, OOD)自定义语音的高保真零样本风格迁移文本转语音(TTS)模型。该项目由浙江大学和Sea AI Lab的研究人员在NeurIPS 2022会议上提出,旨在解决以下两个主要挑战:

1. 表现力丰富的语音中高度动态的风格特征难以建模和迁移
2. TTS模型需要足够健壮以处理与源数据不同的多样化OOD条件

GenerSpeech通过引入两个关键组件来解决这些挑战:

• 多层次风格适配器:高效建模广泛的风格条件,包括全局说话人和情感特征,以及局部(句子、音素和单词级)细粒度韵律表示
• 可泛化内容适配器:采用Mix-Style层归一化消除语言内容表示中的风格信息,提高模型泛化能力

快速开始

要使用GenerSpeech生成高保真样本,您可以按照以下步骤操作:

1. 克隆GitHub仓库:

git clone https://github.com/Rongjiehuang/GenerSpeech.git
cd GenerSpeech

2. 创建并激活conda环境:

conda env create -f environment.yaml
conda activate generspeech

3. 下载预训练模型和数据集:

• 预训练模型
• 数据集

4. 运行推理脚本:

CUDA_VISIBLE_DEVICES=$GPU python inference/GenerSpeech.py --config modules/GenerSpeech/config/generspeech.yaml --exp_name GenerSpeech --hparams="text='here we go',ref_audio='assets/0011_001570.wav'"

生成的音频文件默认保存在infer_out目录中。

相关资源

• 项目GitHub仓库
• 论文
• 音频样例演示页面
• HuggingFace空间

主要特性

• 多层次风格迁移,实现富有表现力的文本转语音
• 增强的模型泛化能力,适应域外(OOD)风格参考

如何贡献

GenerSpeech是一个开源项目,欢迎社区贡献。您可以通过以下方式参与:

• 提交Issue报告bug或提出新功能建议
• 提交Pull Request贡献代码
• 完善文档

引用

如果您在研究中使用了GenerSpeech,请引用以下论文:

@inproceedings{huanggenerspeech,
  title={GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech},
  author={Huang, Rongjie and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Advances in Neural Information Processing Systems}
}

GenerSpeech为TTS领域带来了新的可能性,特别是在处理域外自定义语音的风格迁移方面。通过本文提供的资源,相信读者能够快速上手并探索这一强大的模型。