WhisperSpeech

WhisperSpeech 项目介绍

项目背景

WhisperSpeech 是一个开源的文本到语音（TTS）系统，该项目通过反转 Whisper 模型来实现语音合成。之前该项目被称为 spear-tts-pytorch。其目标是创建一个像 Stable Diffusion 一样强大且易于定制的语音生成模型。该项目保证了其使用的语音录音都是合法授权的，并且所有的代码都是开源的，这确保了模型的商业应用安全。

现阶段进展

目前，WhisperSpeech 模型基于英语的 LibreLight 数据集合进行了训练。未来版本中，开发者计划扩展到多语言支持，因为 Whisper 和 EnCodec 都具备多语言能力。

• 2024年1月29日更新：成功训练了一个 tiny S2A 模型，支持英语、波兰语和法语的数据集，并能实现法语的语音克隆。这表明即使是没有得到充分支持的语言，也有可能在单一语义令牌模型下获得支持。

• 2024年1月18日更新：在推理性能上进行了优化，通过集成 torch.compile、添加缓存机制，提升了模型速度，可以以超12倍的速度实时运行。此外，模型还支持混合语言合成，如英语和波兰语的无缝转换，并可以进行语音克隆。

• 2024年1月10日更新：推出了新的 SD S2A 模型，速度更快且生成语音的质量没有下降，同时引入了基于参考音频文件进行语音克隆的示例。

• 2023年12月10日更新：发布了支持多语言（英语和波兰语）的三模型，提供了英语女性声音和波兰语男性声音示例。

模型下载与运行

用户可以通过 Google Colab 链接使用或下载 WhisperSpeech 预训练模型与数据集。如果需要手动下载或者从头开始训练模型，相关资源可以在 HuggingFace 上找到。

项目路线图

• 收集更大的情感语音数据集。
• 找到生成情感和韵律的调控方法。
• 创建一个社区合作项目，以收集多语言的免费授权语音。
• 训练最终的多语言模型以实现更广泛的应用。

技术架构

WhisperSpeech 的技术架构类似于 Google 的 AudioLM 和 SPEAR TTS以及 Meta 的 MusicGen。该项目利用了以下开源模型：

• Whisper: 用于生成语义令牌及转录。
• EnCodec: 用于声学建模。
• Vocos: 用作高质量的声码器。

开源贡献与支持

该项目得到了 Collabora、LAION 以及 Jülich 超级计算中心等多个机构的支持，这为模型开发和训练提供了重要资源。同时，许多开源项目和研究论文也为该项目提供了技术支撑。

咨询与合作

团队提供开放源码和专有 AI 项目的咨询服务。有兴趣者可以通过 Collabora 官网或 Discord 联系团队。

通过以上信息，用户可以了解 WhisperSpeech 项目的整体进展及其应用潜力。在快速发展的人工智能语音合成领域，WhisperSpeech 提供了一个有力的开源解决方案。