Resemble 增强

https://github.com/resemble-ai/resemble-enhance/assets/660224/bc3ec943-e795-4646-b119-cce327c810f1

Resemble 增强是一个旨在通过去噪和增强来提高语音整体质量的AI驱动工具。它由两个模块组成：一个去噪器，用于从嘈杂的音频中分离出语音，以及一个增强器，通过恢复音频失真和扩展音频带宽来进一步提升可感知的音频质量。这两个模型都是在高质量的44.1kHz语音数据上训练的，确保能以高质量增强您的语音。

使用方法

安装

安装稳定版本：

pip install resemble-enhance --upgrade

或尝试最新的预发布版本：

pip install resemble-enhance --upgrade --pre

增强

resemble_enhance 输入目录 输出目录

仅去噪

resemble_enhance 输入目录 输出目录 --denoise_only

网页演示

我们提供了一个使用Gradio构建的网页演示，您可以在这里尝试，或者在本地运行：

python app.py

训练您自己的模型

数据准备

您需要准备一个前景语音数据集和一个背景非语音数据集。此外，您还需要准备一个RIR数据集（示例）。

data
├── fg
│   ├── 00001.wav
│   └── ...
├── bg
│   ├── 00001.wav
│   └── ...
└── rir
    ├── 00001.npy
    └── ...

训练

去噪器预热

虽然去噪器与增强器一起训练，但建议先进行预热训练。

python -m resemble_enhance.denoiser.train --yaml config/denoiser.yaml runs/denoiser

增强器

然后，您可以分两个阶段训练增强器。第一阶段是训练自编码器和声码器。第二阶段是训练潜在条件流匹配（CFM）模型。

第一阶段

python -m resemble_enhance.enhancer.train --yaml config/enhancer_stage1.yaml runs/enhancer_stage1

第二阶段

python -m resemble_enhance.enhancer.train --yaml config/enhancer_stage2.yaml runs/enhancer_stage2

博客

在我们的网站上了解更多信息！