DDSP-SVC

项目介绍：DDSP-SVC

概述

DDSP-SVC 是一个全新的开源项目，旨在开发可以在个人电脑上使用的免费 AI 变声器软件。相比著名的 SO-VITS-SVC，DDSP-SVC 对计算机硬件的要求更低，并且训练时间可显著缩短至量级水平，接近 RVC 的训练速度。此外，在进行实时声音转换时，该项目的硬件资源消耗明显低于 SO-VITS-SVC，但可能略高于 RVC 的最新版本。

虽然 DDSP 的原始合成质量不理想，但通过使用预训练的声码器强化（旧版本）或浅扩散模型（新版本）提升音质后，对某些数据集而言，它的合成质量已不低于 SO-VITS-SVC 和 RVC。

项目功能和版本

6.0 - 基于校正流模型（实验性）

• 预处理：使用配置文件 reflow.yaml 来预处理音频数据。
• 训练：针对校正流模块进行训练。
• 非实时推理：可通过调整参数进行音色色调变换，并指定不同的推理方法和起始时间进行推理。

5.0 - 改进的 DDSP 级联扩散模型

• 预处理：需要配置并使用预训练的编码器、音高提取器和声码器。
• 训练：仅需训练一个级联模型。
• 非实时推理和实时 GUI：支持各种参数调整，并简化了配置外部 DDSP 模型的要求。

4.0 - 新 DDSP 级联扩散模型

• 特性：与 5.0 版本类似，新增了多种训练和推理的模型参数配置。
• 注意事项：fp16 训练有暂时问题，fp32 和 bf16 正常。

3.0 - 浅扩散模型（DDSP + Diff-SVC 重构版本）

• 安装和配置：与其他版本类似，需配置多种预训练模型。
• 训练与推理：支持多种方法的音色变换，并提供详尽的参数设置支持。

安装依赖和准备数据

首先推荐从 PyTorch 官方网站安装 PyTorch，然后根据 requirements.txt 安装相关依赖。项目代码在不同版本的 Python、CUDA 和 PyTorch 上测试过，详细版本信息请查阅源代码中的注释。

预训练模型配置

项目需下载并配置多种预训练模型，包括特征编码器（ContentVec 或 HubertSoft）、声码器（NSF-HiFiGAN）和音高提取器（RMVPE）。配置完成后需查看并修改相应的配置文件以保证模型正常工作。

数据预处理

训练数据需放置在指定的 data/train/audio 目录下，验证数据放置于 data/val/audio。数据格式需要一致，保证在配置文件中设置的采样率下进行训练。

训练与验证

项目提供多种合成模型的训练脚本，支持断点续训和微调功能。可通过 Tensorboard 可视化工具查看训练状态。验证时需注意音频样本的初步合成效果，其质量会在使用声码器增强器后进一步提升。

非实时与实时转换

非实时转换通过命令行输入参数，在推理时调整多种音色和音高，支持混合多种音色比例。而实时转换提供 GUI 界面，使用滑动窗口和上下文语义参考等技术，实现与非实时合成相近的音质。

注意事项

请确保仅使用合法获取的授权数据来训练 DDSP-SVC 模型，不要将合成的音频用于非法用途。模型和音频的使用需遵循相关法律法规，项目作者不对因使用而引起的任何侵权或违法行为负责。

致谢

项目致谢了多位开发者和开源项目，如 ddsp、pc-ddsp、soft-vc、ContentVec、DiffSinger 和 Diffusion-SVC 等，为该项目提供了重要支持和参考。

DDSP-SVC 将继续更新和优化，为用户提供更高效、便捷的变声解决方案。