mars5-tts

MARS5-TTS：一个革新性的语音合成项目

MARS5-TTS 是由 CAMB.AI 公司开发的一个创新型英语语音合成模型。这个项目旨在解决语音合成中最具挑战性的问题之一——韵律控制。MARS5 能够在仅有 5 秒音频和少量文本的情况下，生成具有丰富韵律表现的语音，甚至可以应对体育解说、动漫配音等复杂场景。

技术亮点

MARS5 采用了两阶段的 AR-NAR（自回归-非自回归）流水线架构，其中 NAR 组件采用了全新的设计。这种创新架构使得模型能够更好地处理韵律丰富的语音合成任务。

模型的工作流程如下：

1. 首先，通过自回归 Transformer 模型生成粗粒度的 Encodec 语音特征。
2. 然后，将文本、参考音频和粗粒度特征输入到多项式 DDPM（离散扩散概率模型）中，生成剩余的 Encodec 编码本值。
3. 最后，通过声码器将 DDPM 的输出转换为最终的音频。

使用特点

1. 灵活的韵律控制：MARS5 可以通过标点符号和大写字母来引导生成音频的韵律。例如，添加逗号可以在相应位置增加停顿，使用大写字母可以强调特定词语。

2. 高质量的说话人克隆：模型支持使用 2-12 秒的参考音频来指定说话人身份，其中 6 秒左右的音频效果最佳。

3. 深度克隆功能：通过提供参考音频的文本转录，MARS5 可以执行"深度克隆"，提高克隆质量和输出效果，但会略微增加生成时间。

快速上手

MARS5-TTS 的使用非常简单，主要包括以下步骤：

1. 安装必要的依赖包
2. 使用 torch.hub 加载模型
3. 准备参考音频和可选的转录文本
4. 设置推理配置并生成语音

项目还提供了 Docker 镜像，方便用户快速部署和使用。

模型细节

MARS5 包含两个主要组件：

• AR 模型：约 750M 参数
• NAR 模型：约 450M 参数

模型检查点以 PyTorch 和 SafeTensors 两种格式提供，包含了嵌入的配置信息和字节对编码分词器。

未来计划

MARS5 团队正在努力提升模型的质量、稳定性和性能。主要改进方向包括：

• 提高推理稳定性和一致性
• 优化速度和性能
• 改进长音频参考选择
• 在标准语音数据集上进行基准测试

开源和贡献

MARS5 项目采用 GNU AGPL 3.0 许可证开源。开发团队欢迎社区成员为项目做出贡献，包括代码改进、性能优化和使用案例分享。

总结

MARS5-TTS 项目展现了语音合成领域的最新进展，特别是在韵律控制方面取得了显著突破。它不仅为研究人员提供了宝贵的资源，也为语音应用开发者带来了强大的工具。随着项目的不断完善和社区的积极参与，MARS5 有望在语音合成技术中发挥越来越重要的作用。