CosyVoice

CosyVoice 项目介绍

概述

CosyVoice 是一个前沿的语音生成项目，致力于提供多语言、多风格的语音合成技术。通过集成多种模型和技术，它能够实现多种语音生成任务，包括零样本学习、跨语言转换和语音指令合成等。

目标和特点

CosyVoice 的目标是通过流畅自然的语音合成，为用户提供优秀的语音交互体验。项目支持多种语言和方言的语音合成，并且能够根据指令调整语音的情感和语气。不仅如此，通过流媒体推理模式，它能够更高效地进行实时语音合成和转换。

项目规划

• 2024/07

  • 增加了流匹配训练支持。
  • 支持 WeTextProcessing，在 ttsfrd 不可用时作为备选方案。
  • 集成了 Fastapi 服务器和客户端。

• 2024/08

  • 引入了重复感知采样（RAS）推理，以提高长语言模型的稳定性。
  • 支持流媒体推理模式，优化了实时应用中的性能。

• 2024/09

  • 推出了 25hz 的 CosyVoice 基础模型。
  • 增强了 25hz 的语音转换模型。

• 未来计划

  • 计划开发基于 LLaMA 的大语言模型，支持 Lora 微调。
  • 探索更多指令模式，以及音乐生成功能。
  • 扩展到更多的多语言数据集以训练 CosyVoice-500M。

安装与使用

安装步骤

1. 克隆项目仓库并安装 Conda 环境。
2. 下载并安装所需模型和资源，如 CosyVoice-300M、CosyVoice-300M-SFT 等。
3. 使用命令行或脚本进行基础和高级用例的语音合成任务。

使用实例

• 进行零样本推理：使用 CosyVoice-300M 模型。
• 进行部分微调推理：使用 CosyVoice-300M-SFT 模型。
• 根据指令生成语音：使用 CosyVoice-300M-Instruct 模型。

Web 演示

CosyVoice 提供了一个 Web 演示页面，用户可以快速熟悉该工具的功能。通过 Web 界面，用户可以方便地体验不同的推理模式。

高级用法与部署

对于有开发需求的用户，CosyVoice 提供了训练和推理脚本，以及通过 gRPC 和 Fastapi 方法进行服务部署的选项。

讨论与交流

用户可以通过Github Issues参与讨论和问题反馈。同时，项目组还创建了官方钉钉聊天群，方便用户进行交流。

致谢

项目借鉴了多个开源项目的代码，包括 FunASR、FunCodec、Matcha-TTS、AcademiCodec 和 WeNet 等，这些贡献极大地促进了 CosyVoice 的开发。

免责声明

本文档中提供的信息仅用于学术目的，旨在演示技术能力。如有任何内容侵犯了您的权益，请与我们联系以请求删除。