selfhostedAI

项目介绍：Self-Hosted AI

Self-Hosted AI 是一个旨在提供兼容 OpenAI 的 API 接口的项目，方便开发者更便捷地适配使用 OpenAI 的各种开源项目。通过此项目，开发人员可以在本地或自定义环境中实现与 OpenAI 类似的功能体验，并获取快速使用和集成 AI 模型的能力。项目发布不同类型的 API 接口以适应不同的需求，该特性不仅有利于更加灵活的应用开发，也有助于促进 AI 相关应用的广泛使用。

前往 release 页面 可以下载完整的压缩包文件。更新项目时，可以使用 update.bat 脚本，但不会包含模型更新。开发者也可以定义 ngrok_token 环境变量以开放 API 接口至互联网，供外部访问和使用。

使用示例

通过访问 GitHub 项目 chatGPTBox，用户可以切换到指定的 API 模式，从而迅速体验 Self-Hosted AI 的功能。

聊天模型

RWKV 模型

RWKV 模型是使用 RWKV-Runner 的在线安装程序进行安装。该安装包仅有 8MB，用户可以轻松配置 RWKV 模型进行对话体验。

ChatGLM 6B Int4 模型

ChatGLM 是一个在 Apache-2.0 许可下开源的模型，提供多种方式进行本地或网络部署。

• 离线使用：从 selfhostedAI 项目发布页下载离线安装包。解压后双击相应文件可启动模型，比如 llama.bat 启动 llama 模型。为了正常启动需要确保拥有正确的模型文件。

• 自行托管：Huggingface 托管空间允许快速体验 API，用户可复制空间，切换到高性能 CPU 以加快体验。

llama.cpp 模型

与 ChatGLM 类似，llama.cpp 可以离线使用并有命令行交互程序。通过在 WSL 或 Linux 环境中运行 get_llama_model.sh 可以获取模型。对于现有模型，您可以直接替换 /models/llama.cpp/ggml-model-q4_0.bin 文件。

图像生成工具

stable-diffusion-webui

此工具提供一键安装程序下载，用户可以从 GitHub 下载程序进行安装。具体安装过程因系统而异，Windows 用户只需解压并运行 update.bat 和 run.bat 文件即可。在正常运行之前，需要至少下载一个模型。

用户可以在 civitai.com 找到想要使用的模型并放置在 webui\models\Stable-diffusion 目录。VAE 模型则应放置在 webui\models\VAE 目录中。

综合应用

text-generation-webui

该平台同样提供一键安装程序，下载链接可从 GitHub 获取。选择与系统对应的压缩文件进行下载即可。

Wenda

Wenda 为懒人包工具，支持快速安装和启动，其下载链接为 百度网盘。详细使用步骤见 GitHub 的指南。

Self-Hosted AI 项目通过提供多样化的解决方案，助力开发者以简便的方式在本地或自定义环境中利用 AI 模型。这不仅能减少对商业云服务的依赖，也为 AI 研究及应用发展提供了更加灵活的支持。