snac_24khz

SNAC项目介绍

SNAC(Multi-Scale Neural Audio Codec)是一个创新的音频压缩项目，旨在以低比特率将音频压缩为离散代码。该项目主要针对语音数据进行训练，推荐用于语音合成领域。

项目概述

SNAC采用了类似于SoundStream、EnCodec和DAC的分层令牌编码方式来处理音频。然而，SNAC引入了一个简单而巧妙的改变：粗糙的令牌以较低的频率采样，从而覆盖更广泛的时间跨度。这种方法使得SNAC能够在保持音频质量的同时实现更高效的压缩。

技术特点

压缩能力：该模型能够将24 kHz的音频压缩为0.98 kbps比特率的离散代码。
编码结构：使用3个RVQ（Residual Vector Quantization）层级，令牌速率分别为12 Hz、23 Hz和47 Hz。
模型参数：包含19.8 M参数，为语音处理提供了强大的性能。

预训练模型

SNAC项目提供了多个预训练模型，以适应不同的应用场景：

snac_24khz：本文介绍的主要模型，适用于语音处理。
snac_32khz：比特率为1.9 kbps，适用于音乐和音效处理。
snac_44khz：比特率为2.6 kbps，同样适用于音乐和音效处理。

所有模型目前仅支持单声道音频处理。

使用方法

SNAC的使用非常简单，用户可以通过pip安装该库：

pip install snac

然后，可以使用Python代码轻松地进行音频编码和解码：

import torch
from snac import SNAC

model = SNAC.from_pretrained("hubertsiuzdak/snac_24khz").eval().cuda()
audio = torch.randn(1, 1, 24000).cuda()  # B, 1, T

with torch.inference_mode():
    codes = model.encode(audio)
    audio_hat = model.decode(codes)