ParallelWaveGAN

ParallelWaveGAN 项目介绍

项目背景

ParallelWaveGAN项目是一个基于Pytorch的非官方实现库，它提供了多种最先进的非自回归模型实现，包括Parallel WaveGAN、MelGAN、Multiband-MelGAN、HiFi-GAN和StyleMelGAN。这些技术组合可以用于构建高效的神经网络声码器，能够实时生成高质量的声音。

目标与目的

ParallelWaveGAN项目的主要目标是提供一个可以与ESPnet-TTS兼容的实时神经声码器。这意味着用户可以方便地将该项目集成到现有的语音合成和歌声合成系统中，提升系统的实时性能和音质。此外，项目还支持与NVIDIA/tacotron2实现的结合，进一步拓展了应用场景。

实时演示

该项目提供了多个实时演示，用户可以在Google Colab上亲身体验：

• 使用ESPnet2的实时演示 在Colab中打开
• 使用ESPnet1的实时演示 在Colab中打开
• 使用Muskits的实时演示 在Colab中打开

最新动态

ParallelWaveGAN项目不断更新和扩展，以下是最近的一些更新：

• 2023/08/17：新增LibriTTS-R recipe。
• 2022/02/27：支持歌声声码器。
• 2021/10/21：新增韩国单语者recipe。
• 2021/08/24：增加更多StyleMelGAN和HiFi-GAN的预训练模型。
• 2020/03/12：新加入MelGAN和STFT-loss样本。

环境要求与安装

该项目已在Ubuntu 20.04和Titan V GPU上测试通过。需要以下依赖：

• Python 3.8+
• CUDA 11.0+
• CuDNN 8+
• NCCL 2+（用于分布式多GPU训练）
• 其他库如libsndfile、jq和sox

用户可以通过pip或virtualenv进行安装，具体步骤在文档中详细说明。

测试与性能

ParallelWaveGAN的解码速度非常快，使用TITAN V GPU时，RTF达到了0.016，甚至在CPU上也能接近实时性能。使用MelGAN或Multi-band MelGAN生成器时，解码速度更快。项目中还提供了从Pytorch到Tensorflow的转换示例，以便进一步提升推理速度。

使用预训练模型

项目提供了详细的指导，用户可以使用预训练模型进行分析-合成。只需下载相应的模型文件，按步骤进行声谱特征提取、特征标准化和合成即可。此外，还可以与ESPnet-TTS模型结合进行声音合成。

结论

ParallelWaveGAN项目为研究者和开发者提供了一个灵活强大的平台，用于构建和测试实时语音合成系统。通过不断的更新和扩展，其应用范围和性能已走在业界前沿，适用于多种语言和声音类型。