MetaVoice-1B: 开源人性化表达式文本转语音模型

metavoice-src

MetaVoice-1B:开创性的开源文本转语音模型

在人工智能和语音技术快速发展的今天,一个名为MetaVoice-1B的开源项目正在为文本转语音(TTS)领域带来新的突破。这个由metavoice团队开发的模型,以其独特的功能和卓越的性能,正在重新定义我们与AI语音交互的方式。

MetaVoice-1B的核心特性

MetaVoice-1B是一个拥有1.2B参数的基础模型,它在100K小时的语音数据上进行了训练,专门用于文本转语音任务。该模型的设计理念围绕以下几个关键优先事项展开:

情感丰富的语音节奏和语调: MetaVoice-1B能够生成富有情感和表现力的英语语音,使合成的语音更加自然和人性化。
零样本声音克隆: 对于美式和英式口音,模型只需30秒的参考音频就能实现高质量的声音克隆,无需额外训练。
支持微调的声音克隆: 通过微调,模型可以实现跨语言的声音克隆。实践表明,仅需1分钟的训练数据就能成功克隆印度说话者的声音。
任意长度文本合成: 模型能够处理并合成任意长度的文本,为长篇内容的语音合成提供了可能。

值得一提的是,MetaVoice-1B采用Apache 2.0许可证发布,这意味着它可以无限制地使用,为研究人员和开发者提供了极大的自由空间。

MetaVoice-1B架构图

快速上手MetaVoice-1B

对于想要快速体验MetaVoice-1B的用户,项目提供了两种便捷的方式:

Web UI: 通过Docker Compose,用户可以轻松启动一个带有图形界面的演示环境:

docker-compose up -d ui && docker-compose ps && docker-compose logs -f

服务器模式: 同样使用Docker Compose,可以启动一个API服务器:

docker-compose up -d server && docker-compose ps && docker-compose logs -f

启动后,用户可以通过访问<URL>/docs来查看API定义和使用说明。

深入安装与配置

要在本地环境中安装和运行MetaVoice-1B,需要满足以下前提条件:

GPU显存≥12GB
Python版本≥3.10且<3.12
安装pipx工具

接下来,我们需要进行环境配置:

安装ffmpeg:

wget https://johnvansickle.com/ffmpeg/builds/ffmpeg-git-amd64-static.tar.xz
wget https://johnvansickle.com/ffmpeg/builds/ffmpeg-git-amd64-static.tar.xz.md5
md5sum -c ffmpeg-git-amd64-static.tar.xz.md5
tar xvf ffmpeg-git-amd64-static.tar.xz
sudo mv ffmpeg-git-*-static/ffprobe ffmpeg-git-*-static/ffmpeg /usr/local/bin/
rm -rf ffmpeg-git-*

安装Rust(如果尚未安装):

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

项目依赖安装

MetaVoice-1B提供了两种安装依赖的方式,推荐使用poetry进行安装:

使用poetry(推荐):

pipx install poetry
poetry install
poetry shell

使用pip/conda:

pip install -r requirements.txt
# 或者
conda env create -f environment.yml
conda activate metavoice

MetaVoice-1B的技术架构

MetaVoice-1B的架构设计充分体现了其在语音合成领域的创新:

EnCodec令牌预测: 模型使用因果GPT来预测EnCodec的前两个层级的令牌。文本和音频都是LLM上下文的一部分,而说话者信息则通过令牌嵌入层的条件化传递。
非因果Transformer: 使用编码器风格的Transformer来预测剩余6个层级的EnCodec令牌。这个小型模型(约10Mn参数)展现了出色的零样本泛化能力。
多频带扩散: 利用多频带扩散从EnCodec令牌生成波形,相比原始RVQ解码器或VOCOS,这种方法产生的语音更加清晰。
DeepFilterNet: 用于清理多频带扩散引入的背景伪音,进一步提升音质。