API for Open LLMs: 统一开源大语言模型的后端接口

API for Open LLMs: 开源大语言模型的统一后端接口

在人工智能和自然语言处理领域快速发展的今天，大语言模型(Large Language Models, LLMs)已经成为了许多应用的核心技术。然而，不同的开源大语言模型往往有着各自的接口和使用方式，这给开发者在选择和使用这些模型时带来了不小的挑战。为了解决这个问题，GitHub 上的一个开源项目 "API for Open LLMs" 应运而生，它为各类开源大语言模型提供了一个统一的后端接口，极大地简化了开发者使用这些模型的过程。

项目概述

API for Open LLMs 是一个旨在为开源大语言模型提供统一后端接口的项目。该项目的核心目标是让开发者能够以与 OpenAI ChatGPT API 相同的方式调用各种开源大模型，从而大大降低了使用这些模型的门槛。

API for Open LLMs 项目概览

这个项目具有以下几个主要特点：

统一接口：以 OpenAI ChatGPT API 的方式调用各类开源大模型
流式响应：支持流式响应，实现打字机效果
文本嵌入：实现文本嵌入模型，为文档知识问答提供支持
兼容性强：支持大规模语言模型开发工具 langchain 的各类功能
易于配置：只需简单修改环境变量即可将开源模型作为 ChatGPT 的替代模型
灵活性高：支持加载经过自行训练的 LoRA 模型
性能优化：支持使用 vLLM 进行推理加速和处理并发请求

支持的模型

API for Open LLMs 支持多种主流的开源大语言模型，包括但不限于：

Baichuan (7B/13B)
ChatGLM (6B)
DeepSeek (7B/16B/67B/236B)
InternLM (7B/20B)
LLaMA (7B/13B/33B/65B)
LLaMA-2 (7B/13B/70B)
LLaMA-3 (8B/70B)
Qwen (1.8B/7B/14B/72B)
Qwen1.5 (0.5B/1.8B/4B/7B/14B/32B/72B/110B)
Qwen2 (0.5B/1.5B/7B/57B/72B)
Yi (1/1.5) (6B/9B/34B)

除了语言模型外，该项目还支持多种嵌入模型，如 bge-large-zh、m3e-large、text2vec-large-chinese 等。

使用方法

使用 API for Open LLMs 非常简单。首先，需要设置两个关键的环境变量：

OPENAI_API_KEY：可以随意填写一个字符串
OPENAI_API_BASE：后端启动的接口地址，例如：http://192.168.0.xx:80/v1

设置好环境变量后，就可以像使用 OpenAI 的 API 一样使用这个统一接口了。以下是一个简单的 Python 代码示例：

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://192.168.20.59:7891/v1/",
)

# Chat completion API
chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "你好",
        }
    ],
    model="gpt-3.5-turbo",
)
print(chat_completion)