AI00 RWKV Server：一个强大而灵活的本地化AI服务器

AI00 RWKV Server简介

AI00 RWKV Server是一个基于RWKV（Receptance Weighted Key Value）语言模型的本地化AI服务器，它为开发者和企业提供了一个强大而灵活的AI推理解决方案。作为一个开源项目，AI00 RWKV Server在GitHub上获得了广泛关注，截至目前已有超过400颗星标。

核心特性

高性能推理：AI00 RWKV Server基于RWKV模型，具有出色的性能和准确性。
Vulkan加速：支持Vulkan并行和并发批处理推理，可在所有支持Vulkan的GPU上运行，包括AMD卡和集成显卡。
轻量级部署：无需庞大的PyTorch、CUDA等运行时环境，体积小巧，开箱即用。
API兼容性：兼容OpenAI的ChatGPT API接口，便于开发者快速迁移和集成。
开源可商用：采用MIT许可证，100%开源且可商业使用。

AI00 RWKV Server架构图

安装与使用

下载预编译可执行文件

从GitHub Release页面下载最新版本。
下载RWKV模型文件，并将其放置在assets/models/目录下。
根据需要修改assets/Config.toml配置文件，设置模型路径、量化层等参数。
在命令行中运行程序。
打开浏览器访问http://localhost:65530（如果启用了TLS，则访问https://localhost:65530）即可使用WebUI界面。

从源码构建（可选）

安装Rust开发环境。

克隆项目仓库：

git clone https://github.com/cgisky1980/ai00_rwkv_server.git
cd ai00_rwkv_server

下载并放置RWKV模型文件。
编译项目。
运行编译后的程序。

模型转换

AI00 RWKV Server目前支持.st扩展名的Safetensors模型。如果您有使用torch保存的.pth模型，需要先进行转换：

使用提供的Python脚本convert2ai00.py或convert_safetensors.py进行转换。
也可以使用预编译的converter工具进行转换。
将转换后的.st模型文件放置在assets/models/目录下，并在assets/Config.toml中更新模型路径。

API使用指南

AI00 RWKV Server提供了与OpenAI API兼容的接口，包括：

/api/oai/v1/models
/api/oai/v1/chat/completions
/api/oai/v1/completions
/api/oai/v1/embeddings

开发者可以参考OpenAI的API文档，快速集成AI00 RWKV Server到现有项目中。以下是一个使用Python调用AI00 API的示例：

import openai

class Ai00:
    def __init__(self, model="model", port=65530, api_key="JUSTSECRET_KEY"):
        openai.api_base = f"http://127.0.0.1:{port}/api/oai"
        openai.api_key = api_key
        self.ctx = []
        self.params = {
            "system_name": "System",
            "user_name": "User", 
            "assistant_name": "Assistant",
            "model": model,
            "max_tokens": 4096,
            "top_p": 0.6,
            "temperature": 1,
            "presence_penalty": 0.3,
            "frequency_penalty": 0.3,
            "half_life": 400,
            "stop": ['\x00','\n\n']
        }
    
    # ... (其他方法省略)

    def send_message(self, message, role="user"):
        self.ctx.append({
            "role": role,
            "content": message
        })
        result = openai.ChatCompletion.create(
            model=self.params['model'],
            messages=self.ctx,
            names={
                "system": self.params['system_name'],
                "user": self.params['user_name'],
                "assistant": self.params['assistant_name']
            },
            max_tokens=self.params['max_tokens'],
            half_life=self.params['half_life'],
            top_p=self.params['top_p'],
            temperature=self.params['temperature'],
            presence_penalty=self.params['presence_penalty'],
            frequency_penalty=self.params['frequency_penalty'],
            stop=self.params['stop']
        )
        result = result.choices[0].message['content']
        self.ctx.append({
            "role": "assistant",
            "content": result
        })
        return result

# 使用示例
ai00 = Ai00()
print(ai00.send_message("你好，请介绍一下你自己。"))

高级功能：BNF采样

从v0.5版本开始，AI00 RWKV Server引入了一个独特的功能——BNF（巴科斯-诺尔范式）采样。这个功能允许开发者通过限制模型可选择的下一个词元来强制模型输出特定格式的内容，例如JSON或带有指定字段的Markdown。

以下是一个JSON格式的BNF示例，包含"name"、"age"和"job"字段：

<start> ::= <json_object>
<json_object> ::= "{" <object_members> "}"
<object_members> ::= <json_member> | <json_member> ", " <object_members>
<json_member> ::= <json_key> ": " <json_value>
<json_key> ::= '"' "name" '"' | '"' "age" '"' | '"' "job" '"'
<json_value> ::= <json_string> | <json_number>
<json_string>::='"'<content>'"'
<content>::=<except!([escaped_literals])>|<except!([escaped_literals])><content>|'\"'<content>|'\"'
<escaped_literals>::='\t'|'\n'|'\r'|'"'
<json_number> ::= <positive_digit><digits>|'0'
<digits>::=<digit>|<digit><digits>
<digit>::='0'|<positive_digit>
<positive_digit>::="1"|"2"|"3"|"4"|"5"|"6"|"7"|"8"|"9"

这个功能为开发者提供了更精细的控制，确保AI生成的内容符合特定的结构要求，特别适用于需要严格格式的应用场景。

WebUI界面展示

AI00 RWKV Server不仅提供了强大的API，还配备了直观的WebUI界面，方便用户进行交互和测试。以下是几个主要功能的界面截图：

聊天界面

聊天界面提供了类似ChatGPT的交互体验，用户可以轻松地与AI进行对话。

续写功能

续写功能允许用户输入一段文本开头，AI会自动生成后续内容，适用于创意写作和内容生成场景。

并行推理演示

并行推理演示展示了AI00 RWKV Server强大的并行处理能力，能够同时处理多个任务，提高效率。

未来展望

AI00 RWKV Server团队正在积极开发新功能，未来计划包括：

支持text_completions和chat_completions
支持SSE推送
集成基础前端
通过batch serve实现并行推理
支持int8和NF4量化
支持LoRA模型
支持调优初始状态
LoRA模型的热加载和切换
调优初始状态的热加载和切换

这些计划的实现将进一步提升AI00 RWKV Server的性能和功能，为开发者提供更多可能性。

社区参与

AI00 RWKV Server是一个开源社区驱动的项目，欢迎所有感兴趣的开发者、研究者和爱好者参与到项目中来。您可以通过以下方式贡献：

编写代码
提供反馈
提出想法或需求
测试新功能
翻译文档
推广项目

无论您的技能水平如何，我们都欢迎您加入我们的社区。您可以通过以下方式参与：

加入Discord频道
加入QQ群
在GitHub上提交issues或pull requests
在项目网站上留下反馈

致谢

AI00 RWKV Server的成功离不开众多贡献者的努力。以下是部分主要贡献者：

顾真牛（@cgisky1980）：文档、代码、内容、设计、指导
研究社交（@cryscan）：代码、示例、想法、维护、代码审查、平台移植
josc146（@josStorer）：bug报告、代码、想法、工具
l15y（@l15y）：工具、插件、代码
Cahya Wirawan（@cahya-wirawan）：bug报告
yuunnn_w（@yuunnn-w）：文档、测试
longzou（@longzou）：代码、安全

这些贡献者的无私奉献推动了项目的不断发展和完善。

结语

AI00 RWKV Server作为一个强大而灵活的本地化AI服务器，为开发者和企业提供了一个高性能、易用且可定制的AI推理解决方案。通过支持Vulkan加速、兼容OpenAI API、提供直观的WebUI界面等特性，AI00 RWKV Server在保证性能的同时，也大大降低了AI应用开发的门槛。

随着项目的不断发展和社区的积极参与，AI00 RWKV Server有望成为推动AI技术民主化和普及化的重要力量。无论您是AI研究人员、应用开发者，还是对AI技术感兴趣的爱好者，AI00 RWKV Server都为您提供了一个绝佳的平台，让您能够轻松探索和应用最新的AI技术。

我们诚挚邀请您加入AI00 RWKV Server社区，一同探索AI的无限可能，共同创造更加智能化的未来！