MetaVoice-1B入门指南 - 开源表达性文本转语音模型

MetaVoice-1B简介

MetaVoice-1B是一个开源的文本转语音(TTS)基础模型,由metavoiceio团队开发。它具有以下主要特点:

• 12亿参数,基于100K小时语音数据训练
• 能够生成带有情感节奏和语调的英语语音
• 支持美式和英式声音的零样本克隆,只需30秒参考音频
• 可通过微调实现跨语言的声音克隆
• 能够合成任意长度的文本

该项目以Apache 2.0许可证发布,可以无限制地使用。

快速开始

Web UI

使用以下命令启动Web界面:

docker-compose up -d ui && docker-compose ps && docker-compose logs -f

服务器

使用以下命令启动API服务:

docker-compose up -d server && docker-compose ps && docker-compose logs -f

API文档可在<URL>/docs查看。

安装

环境要求

• GPU VRAM ≥ 12GB
• Python ≥ 3.10, < 3.12
• pipx

依赖安装

推荐使用poetry进行依赖管理:

pipx install poetry
conda deactivate
export PYTHON_KEYRING_BACKEND=keyring.backends.fail.Keyring
poetry install && poetry run pip install torch==2.2.1 torchaudio==2.2.1

使用方法

1. 本地使用:

poetry run python -i fam/llm/fast_inference.py

# 在交互式Python会话中使用API
tts.synthesise(text="This is a demo of text to speech by MetaVoice-1B, an open-source foundational audio model.", spk_ref_path="assets/bria.mp3")

2. 云端部署:

poetry run python serving.py
poetry run python app.py

3. 通过Hugging Face使用

4. Google Colab Demo

微调

MetaVoice-1B支持对第一阶段LLM进行微调。详细的微调方法和配置可以参考项目文档。

学习资源

• 项目GitHub仓库
• API文档
• Web UI源码
• Google Colab教程
• Hugging Face模型页面

MetaVoice-1B为开发者提供了强大的TTS基础模型,结合丰富的文档和示例,使其易于上手和使用。无论是想要快速体验还是进行深入研究,MetaVoice-1B都是一个值得关注的开源项目。