bark-small

Bark-small项目介绍

Bark-small是由Suno公司开发的一个基于transformer的文本到音频模型。作为Bark模型的小型版本，它继承了原始Bark模型的主要功能，但参数量更少，适用于资源受限的环境。

主要特点

• 多语言支持: Bark-small能够生成高度逼真的多语言语音，支持包括英语、中文、法语、德语等在内的13种语言。

• 多样化音频生成: 除了语音外，该模型还可以生成音乐、背景噪音和简单的音效。

• 非语言交流: Bark-small能够产生笑声、叹息和哭泣等非语言交流声音。

• 研究用途: 该模型主要用于研究目的，开发者提供了预训练的模型检查点供推理使用。

技术细节

Bark-small由三个transformer模型组成，它们依次将文本转换为音频：

1. 文本到语义令牌: 使用BERT分词器处理输入文本，输出编码待生成音频的语义令牌。

2. 语义到粗糙令牌: 将语义令牌转换为EnCodec编解码器的前两个码本。

3. 粗糙到精细令牌: 将前两个码本扩展为EnCodec的8个码本。

每个子模型的参数量约为80M，相比原始Bark模型的300M参数量大幅减少。

使用方法

Bark-small可以通过多种方式使用：

1. Hugging Face Transformers库: 从4.31.0版本开始支持Bark模型。用户可以使用简单的Python代码通过Text-to-Speech管道或更细粒度的控制方法生成音频。

2. 原始Bark库: 用户也可以通过安装原始Bark库来使用该模型。

3. 在线演示: 提供了Colab笔记本和Hugging Face演示空间，方便用户快速体验模型功能。

优化技巧

为提高模型性能，开发者提供了几个优化建议：

• 使用Better Transformer进行核融合，可提升20-30%的速度。
• 采用Flash Attention 2进行更快的优化。
• 使用半精度（如float16）可以减少50%的内存占用。
• 对于CUDA设备，可以使用CPU卸载技术减少80%的内存占用。

应用前景

Bark-small模型有望在多个领域发挥作用：

• 提升多语言无障碍工具的性能。
• 为创意产业提供新的音频生成工具。
• 支持语音合成相关的研究和开发。

然而，开发者也提醒用户注意模型的潜在双重用途，并提供了一个简单的分类器来检测Bark生成的音频。

许可证

Bark-small采用MIT许可证，这意味着它可以用于商业用途。这为该模型在各种应用场景中的广泛使用提供了可能。