Mangio-RVC-Fork: 功能强大的语音转换工具

Mangio-RVC-Fork 简介

Mangio-RVC-Fork 是一个基于 Retrieval-based Voice Conversion WebUI 的实验性分支项目,旨在为语音转换提供更多功能和更好的性能。该项目在原有框架的基础上,加入了多种 f0 提取方法和混合 f0 估计等新特性,为用户提供了更多选择和可能性。

主要特点

1. f0 推理算法全面升级:

   • 新增 pyworld dio f0 方法
   • 新增 mangio-crepe f0 计算方法
   • 增加 torchcrepe crepe-tiny 模型
   • 可通过 Web GUI 和 CLI 修改 crepe_hop_length 参数

2. 支持用于训练的 f0 Crepe 音高提取(实验性功能)

3. Paperspace 集成:

   • infer-web.py 新增 --paperspace 参数,可共享 Gradio 链接
   • 为 Paperspace 用户提供 Makefile

4. 通过 Makefile 访问 Tensorboard

5. 训练总 epoch 滑块上限提高到 10,000

6. 新增 CLI 功能:

   • infer-web.py 增加 --is_cli 标志以使用 CLI 系统

7. f0 混合(中位数)估计方法:

   • 通过计算指定 f0 方法数组的 nanmedian 来获得最佳效果
   • 目前仅支持 CLI,未来将添加到 GUI

8. f0 特征提取也支持混合估计方法(实验性功能)

此外,该项目还保留了原 RVC 项目的以下特性:

• 通过 top1 检索替换源特征为训练集特征,减少音色泄漏
• 即使在较差的显卡上也能快速、轻松地进行训练
• 使用少量数据也能获得较好的训练结果(建议≥10分钟低噪音语音)
• 支持模型融合以改变音色
• 易用的 WebUI 界面
• 使用 UVR5 模型快速分离人声和伴奏

安装和使用

安装依赖

推荐使用 Python 3.9.8,通过 pip 安装依赖:

pip install -r requirements.txt

MacOS 用户注意:faiss 1.7.2 可能会导致 Segmentation Fault,请使用:

pip install faiss-cpu==1.7.0

准备预训练模型

从 Huggingface space 下载所需的预训练模型文件:

• hubert_base.pt
• ./pretrained
• ./uvr5_weights

如果要使用 v2 版本模型,还需要下载:

• ./pretrained_v2

运行 Web GUI

python infer-web.py --pycmd python --port 3000

运行 CLI

python infer-web.py --pycmd python --is_cli

结语

Mangio-RVC-Fork 在原有 RVC 项目的基础上加入了许多新的特性和改进,为语音转换爱好者和研究人员提供了更多可能性。虽然目前仍处于实验阶段,但已展现出良好的发展前景。我们期待看到更多开发者和用户参与到这个项目中来,共同推动语音转换技术的进步。

最后,让我们感谢所有为这个项目做出贡献的开发者们。正是因为他们的努力,我们才能拥有如此强大而有趣的工具。如果你对这个项目感兴趣,欢迎访问 Mangio-RVC-Fork GitHub 仓库 了解更多信息,并考虑为项目贡献你的力量。