Basaran: 开源替代OpenAI文本补全API的强大工具

Basaran简介

Basaran是一个开源项目,旨在为开发者提供OpenAI文本补全API的替代方案。它为基于Hugging Face Transformers的文本生成模型提供了兼容的流式API,让开发者可以轻松地将OpenAI的服务替换为最新的开源模型,而无需修改任何代码。

随着大型语言模型(LLMs)的快速发展,开源社区正在见证类似Stable Diffusion那样的突破性时刻。Basaran的出现,为开发者提供了一个灵活、强大的工具,可以利用最新的开源模型来驱动应用程序,而不受限于特定的商业API。

Basaran playground

Basaran的主要特性

Basaran具有以下几个关键特性:

支持多种解码策略的流式生成
同时支持仅解码器和编码器-解码器模型架构
处理代理字符和空白的分词器
支持多GPU加速,可选量化
使用服务器发送事件(SSE)实现实时部分进度
与OpenAI API和客户端库兼容
附带精美的基于Web的playground界面

这些特性使Basaran成为一个功能全面、易于使用的工具,可以满足各种文本生成需求。

快速开始

要开始使用Basaran,您可以通过以下几种方式进行安装和部署:

使用Docker(推荐)

使用Docker是最简单的方式。只需运行以下命令:

docker run -p 80:80 -e MODEL=user/repo hyperonym/basaran:X.Y.Z

将user/repo替换为您选择的模型,X.Y.Z替换为最新版本号。运行后,您可以通过以下地址访问:

Playground: http://127.0.0.1/
API: http://127.0.0.1/v1/completions

使用pip安装

如果您prefer使用Python环境,可以通过pip安装Basaran:

安装Basaran:

pip install basaran


2. 安装GPU加速所需的依赖(可选):

pip install accelerate bitsandbytes


3. 运行Basaran:

MODEL=user/repo PORT=80 python -m basaran


### 从源代码运行

如果您想访问最新特性或自行修改代码,可以选择从源代码运行:

1. 克隆仓库:

git clone https://github.com/hyperonym/basaran.git && cd basaran


2. 安装依赖:

pip install -r requirements.txt


3. 运行Basaran:

MODEL=user/repo PORT=80 python -m basaran


## 基本用法

Basaran提供了与OpenAI API兼容的HTTP请求和响应格式。以下是一些基本用法示例:

### 使用cURL

您可以使用cURL发送请求到Basaran的API:

```bash
curl http://127.0.0.1/v1/completions \
    -H 'Content-Type: application/json' \
    -d '{ "prompt": "once upon a time,", "echo": true }'

使用OpenAI客户端库

如果您的应用程序使用OpenAI提供的客户端库,只需修改OPENAI_API_BASE环境变量即可:

OPENAI_API_BASE="http://127.0.0.1/v1" python your_app.py

作为Python库使用

Basaran也可以直接在Python中作为库使用,无需启动单独的API服务器:

from basaran.model import load_model

model = load_model("user/repo")

for choice in model("once upon a time"):
    print(choice)

兼容性

Basaran的API格式与OpenAI的保持一致,主要差异在于参数支持和响应字段。以下是一些兼容性详情:

模型(Models): 每个Basaran进程只服务一个模型
补全(Completions): 支持大部分OpenAI补全API的参数,但不支持suffix、stop等少数参数
聊天(Chat): 目前没有统一的聊天API,建议根据特定模型的要求预格式化聊天历史

路线图

Basaran的开发团队计划在未来实现更多功能,包括但不限于:

API: 支持列出模型、检索模型、创建聊天补全等功能
模型: 支持更多架构和解码策略,如编码器-解码器模型、随机采样、核采样等

贡献

Basaran是一个开源项目,欢迎社区成员贡献想法和代码。如果您有任何想法或问题,可以通过创建issue来联系开发团队。详细的贡献指南可以在CONTRIBUTING.md文件中找到。

许可证

总的来说,Basaran为开发者提供了一个强大、灵活的工具,可以轻松地将最新的开源语言模型集成到应用程序中。无论您是想替换现有的OpenAI服务,还是探索新的文本生成可能性,Basaran都是一个值得考虑的选择。随着开源LLM的不断发展,Basaran将继续为开发者提供更多可能性,推动自然语言处理技术的进步。

Basaran architecture