chat.petals.dev

项目介绍：chat.petals.dev

项目概述

chat.petals.dev 是一个基于 Petals 客户端构建的聊天机器人 Web 应用，它提供了以大规模语言模型（LLM）进行推理的 HTTP 和 WebSocket 端点。用户既可以通过网站直接体验，也可以在自己的服务器上自行运行该应用的后端。该项目旨在方便用户进行大规模语言模型的交互和开发。

交互式聊天

用户可以通过访问 https://chat.petals.dev 来直接使用在线聊天服务。如果想在自己的服务器上运行，可以遵循以下简单的步骤：

git clone https://github.com/petals-infra/chat.petals.dev.git
cd chat.petals.dev
pip install -r requirements.txt
flask run --host=0.0.0.0 --port=5000

值得一提的是，若希望采用 Llama 2 模型服务，用户需要先在 Meta AI 网站和 Hugging Face 的 Model Hub 上申请访问权。之后，可以执行 huggingface-cli login 来验证身份。如果不需要使用 Llama 2，可以通过 config.py 文件移除相关模型。

对于生产环境的部署，推荐使用 Gunicorn 来取代 Flask 的开发服务器，以此来提高服务的稳定性和性能：

gunicorn app:app --bind 0.0.0.0:5000 --worker-class gthread --threads 100 --timeout 1000

API 概述

项目后端提供了两个主要的 API 端点：

• WebSocket API (/api/v2/generate，推荐使用)
• HTTP API (/api/v1/...)

WebSocket API 性能更优，执行速度更快，并且更节省资源，用户应尽量使用。虽然在开发阶段可以使用 https://chat.petals.dev/api/... 做为研究和测试端点，但不建议在生产环境中使用此端点，因为其吞吐量有限，且可能随时暂停服务。

端点的系统要求

• 如果使用仅支持 CPU 的服务器，需要具备足够的内存以适应所有模型的嵌入。
• 若服务器有 GPU，需确保 GPU 拥有足够的显存以容纳所有模型的嵌入。
• 可在 config.py 文件中删除部分不需要的模型以节省内存。

WebSocket API

在使用 WebSocket API 时，用户需建立一个 WebSocket 连接，并通过 JSON 格式的请求和响应进行数据交换。以下是一个 JavaScript 示例代码，该代码体验了如何使用模型来生成文本。

此外，WebSocket API 支持流式生成，即可以在还未生成完整响应前连续发送用户输入，适用于创建聊天机器人等需要动态输入的场景。

HTTP API

HTTP API 提供了统一的接口来与模型进行交互，用户可以通过 POST 请求来生成文本。参数支持包括模型选择、输入文本的最大长度及生成文本策略参数等。此外，用户可以选择不进行采样生成，或通过温度、top_k 和 top_p 参数来定制化生成过程。

总结

chat.petals.dev 项目为用户提供了一个强大且灵活的平台来进行大规模语言模型的交互和开发。无论是通过 web 应用直接体验，还是自建服务器后端，用户都可以根据自身需求灵活爱用该项目。此外，提供的 API 接口也使得设计和实现复杂的模型对话交互变得更加容易。