bark

Bark项目介绍

Bark是由Suno公司开发的一个基于transformer的文本到音频模型。这是一个功能强大的多语言语音合成系统,不仅可以生成高度逼真的语音,还能产生音乐、背景噪音和简单的音效。更令人惊讶的是,Bark甚至能够生成非语言交流声音,如笑声、叹息和哭泣声。

项目特点

多语言支持:Bark支持多种语言的语音合成,包括英语、德语、西班牙语、法语、印地语、意大利语、日语、韩语、波兰语、葡萄牙语、俄语、土耳其语和中文等。
高度逼真:生成的语音非常逼真,接近真人水平。
多样化输出:除了语音,Bark还可以生成音乐、背景噪音和简单的音效。
非语言交流:能够生成笑声、叹息、哭泣等非语言声音。
开源可用:项目在GitHub上开源,并提供了预训练模型供研究社区使用。

技术细节

Bark由三个transformer模型组成,分别完成从文本到语音的转换过程:

文本到语义标记:将输入文本转换为编码待生成音频的语义标记。
语义到粗糙标记:将语义标记转换为EnCodec编解码器的前两个码本。
粗糙到精细标记:将EnCodec的前两个码本转换为8个码本。

这三个模型都有大小两个版本,参数量分别为80M和300M。

使用方法

Bark提供了多种使用方式:

通过Hugging Face Transformers库使用
使用Suno原始Bark库
在Colab或Hugging Face Demo中在线体验

使用Transformers库,只需几行代码即可实现文本到语音的转换:

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-speech", "suno/bark")
speech = synthesiser("Hello, my dog is cooler than you!", forward_params={"do_sample": True})
scipy.io.wavfile.write("bark_out.wav", rate=speech["sampling_rate"], data=speech["audio"])