quillman

项目介绍：QuiLLMan 语音聊天应用

QuiLLMan 是一个基于语音到语音语言模型和双向流技术的完整语音聊天应用，让用户与系统进行自然的语音交流。

后端技术

QuiLLMan 的核心由 Kyutai Lab 开发的 Moshi 模型提供支持。这个模型能持续监听用户的语音输入，进行语音计划并作出回应。系统采用 Mimi 流式编码/解码模型，确保音频流的输入输出不中断。此外，Moshi 使用了基础语音转换模型来判断何时以及如何回应用户。

借助双向 websocket 流和 Opus 音频编解码器用于压缩网络音频，QuiLLMan 能在良好的互联网环境中实现几乎即时的响应，与人类讲话的节奏相匹配。

项目功能和目标

这个项目的代码库可以用作创建基于语言模型应用的起点，也适合进行应用开发实验。欢迎对项目进行任何形式的贡献！

项目文件结构

1. 前端：React 前端文件位于 src/frontend/，由 src/app.py 提供服务。
2. Moshi websocket 服务端位于 src/moshi.py。

本地开发指南

环境需求

• 在当前 Python 虚拟环境中安装 modal（通过命令 pip install modal）。
• 拥有一个 Modal 账户（通过 modal setup 完成设置）。
• 在环境中设置 Modal 令牌（通过 modal token new）。

推理模块的开发

Moshi 服务器模块是一个 Modal 类，用于加载模型和维护流状态，通过 FastAPI HTTP 服务器在互联网上提供 websocket 接口。

运行开发服务器的命令：

modal serve src.moshi

当运行 modal serve 过程中，项目文件的更改将会自动应用。按下 Ctrl+C 可以停止应用。

Websocket 连接测试

在一个独立的终端中，可以通过命令行使用 tests/moshi_client.py 客户端来测试 websocket 连接。首先安装非标准依赖：

python -m venv venv
source venv/bin/activate
pip install -r requirements/requirements-dev.txt

启动终端客户端：

python tests/moshi_client.py

启动后就可以开始语音交流，请确保启用麦克风和扬声器。

HTTP 服务器和前端的开发

位于 src/app.py 的 HTTP 服务器是一个第二个 FastAPI 应用，用于将前端以静态文件形式提供服务。

运行开发服务器的命令：

modal serve src.app

此命令也会启动 Moshi websocket 服务器。终端输出将提供一个 URL，用户可以通过该 URL 访问并使用应用。

如果前端代码有变化，浏览器缓存可能需要清理。

部署到 Modal

当满意于所做的更改后，可以通过以下命令将应用部署：

modal deploy src.app

此步骤会同时部署前端服务器与 Moshi websocket 服务器。需要注意的是，将应用程序部署在 Modal 上不会有额外的费用。Modal 应用是无服务器的，且在不使用时会自动缩减到 0。