selfhostedAI

项目介绍：Self-Hosted AI

Self-Hosted AI 是一个旨在提供兼容 OpenAI 的 API 接口的项目，方便开发者更便捷地适配使用 OpenAI 的各种开源项目。通过此项目，开发人员可以在本地或自定义环境中实现与 OpenAI 类似的功能体验，并获取快速使用和集成 AI 模型的能力。项目发布不同类型的 API 接口以适应不同的需求，该特性不仅有利于更加灵活的应用开发，也有助于促进 AI 相关应用的广泛使用。

前往 release 页面可以下载完整的压缩包文件。更新项目时，可以使用 update.bat 脚本，但不会包含模型更新。开发者也可以定义 ngrok_token 环境变量以开放 API 接口至互联网，供外部访问和使用。

使用示例

通过访问 GitHub 项目 chatGPTBox，用户可以切换到指定的 API 模式，从而迅速体验 Self-Hosted AI 的功能。

chatGPTBox 使用示例

聊天模型

RWKV 模型

RWKV 模型是使用 RWKV-Runner 的在线安装程序进行安装。该安装包仅有 8MB，用户可以轻松配置 RWKV 模型进行对话体验。

ChatGLM 6B Int4 模型

ChatGLM 是一个在 Apache-2.0 许可下开源的模型，提供多种方式进行本地或网络部署。

离线使用：从 selfhostedAI 项目发布页下载离线安装包。解压后双击相应文件可启动模型，比如 llama.bat 启动 llama 模型。为了正常启动需要确保拥有正确的模型文件。
自行托管：Huggingface 托管空间允许快速体验 API，用户可复制空间，切换到高性能 CPU 以加快体验。