fish-speech

Fish Speech 项目介绍

Fish Speech 是一个开源的多语言文本转语音(TTS)项目，具有语音克隆功能。该项目由 Fish Audio 团队开发，旨在提供高质量、灵活且易于使用的语音合成解决方案。

主要特点

1. 零样本和少样本 TTS：用户只需提供 10 到 30 秒的语音样本，就能生成高质量的 TTS 输出。项目文档中提供了详细的语音克隆最佳实践指南。

2. 多语言和跨语言支持：Fish Speech 支持多种语言，包括英语、日语、韩语、中文、法语、德语、阿拉伯语和西班牙语。用户可以直接输入多语言文本，无需担心语言切换问题。

3. 无音素依赖：该模型具有强大的泛化能力，不依赖于音素进行 TTS。它可以处理任何语言脚本的文本。

4. 高度准确：对于 5 分钟的英语文本，Fish Speech 能够实现约 2% 的低字符错误率（CER）和词错误率（WER）。

5. 快速处理：借助 Fish-tech 加速技术，在 Nvidia RTX 4060 笔记本上实时因子约为 1:5，在 Nvidia RTX 4090 上约为 1:15。

6. Web 界面推理：提供基于 Gradio 的易用 Web 界面，兼容 Chrome、Firefox、Edge 等浏览器。

7. GUI 推理：提供基于 PyQt6 的图形界面，可与 API 服务器无缝配合。支持 Linux、Windows 和 macOS 系统。

8. 易于部署：可以轻松设置推理服务器，原生支持 Linux、Windows 和 MacOS，最大限度地减少速度损失。

Fish Agent 功能

除了 TTS 功能，Fish Speech 项目还包括 Fish Agent 组件，具有以下特点：

1. 完全端到端：自动集成 ASR 和 TTS 部分，无需插入其他模型，实现真正的端到端解决方案。

2. 音色控制：可以使用参考音频来控制语音音色。

3. 情感表达：模型能够生成具有强烈情感的语音。

开源和许可

Fish Speech 项目及其所有模型均在 CC-BY-NC-SA-4.0 许可下发布。这意味着用户可以自由使用、修改和分享项目，但需要遵守非商业用途、署名和相同方式共享的条件。

在线演示和快速开始

项目提供了在线演示网站，用户可以直接体验 Fish Speech 和 Fish Agent 的功能。对于本地推理，项目提供了 Jupyter Notebook 文件，方便用户快速上手。

多语言支持

Fish Speech 项目非常注重国际化，提供了英语、中文、日语和葡萄牙语（巴西）的文档和样本，方便来自不同语言背景的用户使用和参考。

社区和贡献

Fish Speech 项目欢迎社区贡献，用户可以通过 GitHub 仓库提交问题或拉取请求。项目还设有 Discord 社区，方便用户交流和讨论。

总的来说，Fish Speech 是一个功能强大、灵活且易用的开源 TTS 项目，为语音合成和语音克隆领域带来了新的可能性。无论是个人用户还是开发者，都可以从这个项目中受益，探索语音技术的前沿应用。