ai00_server

AI00 RWKV 服务器项目介绍

项目概述

AI00 RWKV 服务器是为 RWKV 语言模型开发的推理 API 服务器，这款服务器基于 web-rwkv 推理引擎构建。它支持 Vulkan 并行和并发批量推理，这意味着几乎所有支持 Vulkan 的 GPU（包括 AMD 和集成显卡）都可以获得加速，无需依赖 Nvidia 显卡。此外，该项目无需复杂庞大的 PyTorch 或 CUDA 环境，体量小巧，开箱即用。

它与 OpenAI 的 ChatGPT API 接口兼容，并且是完全开源和商业可用的，采用 MIT 许可。

项目优势

• 高性能与高准确性：基于 RWKV 模型进行开发。
• Vulkan 加速：不依赖 CUDA 提供的 GPU 加速，支持 AMD 与集成显卡。
• 易于部署：无需安装庞大的运行时环境，开箱即用。
• 与 OpenAI 兼容：可以直接使用 OpenAI 的 ChatGPT API 接口。

使用场景

AI00 RWKV 服务器适用于多种应用场景，包括但不限于：

• 聊天机器人
• 文本生成
• 翻译
• 问答系统
• 任何其他大型语言模型（LLM）可执行的任务

安装及使用

下载预编译可执行文件

1. 从项目发布页面下载最新版本。
2. 下载安装模型后，将其放置在 assets/models/ 目录下。
3. 可选：修改 assets/Config.toml 中的模型配置。
4. 在命令行中运行服务器：

   $ ./ai00_rwkv_server

5. 打开浏览器，访问 WebUI：http://localhost:65530

从源代码构建

1. 安装 Rust。
2. 克隆项目代码库。
3. 配置模型路径后，编译并运行项目。

API 支持

API 服务在端口 65530 启动，且数据格式遵循 OpenAI API 规范。部分 API 可选附加功能字段。访问 API 文档页面 获取更多信息。

独特特性：BNF 采样

自版本 v0.5 起，AI00 具备 BNF 采样功能，可以强制模型输出特定格式（如 JSON 或带特定字段的 Markdown）。

WebUI 界面截图

• 聊天界面：提供交互式对话体验。
• 续写功能：支持文本续写及内容创作。

如何加入我们

AI00 RWKV 项目始终欢迎新的贡献成员，无论是编写代码、反馈意见、提出新想法、测试新功能或是翻译文档，你的贡献都弥足珍贵。

参与方式可以通过加入我们的 Discord 或 QQ 群组、在 GitHub 提交问题或合并请求等方式。若您对该项目感兴趣，欢迎与我们共同进步！

致谢

我们由衷感谢为项目无私贡献的人员，这些优秀且富有洞察力的个体为项目提供了巨大支持。加入我们，体验 AI 的无限魅力！