openai-style-api

项目介绍：OpenAI-Style-API

OpenAI-Style-API 是一个有助于在多个大型语言模型（LLM）之间实现无缝接口的工具。通过此项目，用户可以在不同的模型之间切换，而不必担心它们各自API的差异，也无需为每个模型单独配置API Key。

项目背景与初衷

OpenAI-Style-API 的开发者意识到，许多对大型语言模型（如OpenAI、Azure AI、讯飞星火等）感兴趣的用户，希望能利用这些模型来完成各种任务，但不同模型的API格式往往不兼容，导致使用这些模型变得相对复杂。因此，项目的核心目标是创建一个统一的API接口，通过OpenAI标准API格式进行调用。这使得API使用者不必再为模型选择、Key管理、参数配置等问题而头疼。

主要功能详述

• 多模型支持：当前项目已经支持多个知名模型，包括OpenAI、Azure AI、Claude、智谱AI、kimi、bingchat（Copilot）、讯飞星火、Gemini和通义千问等。

• 参数配置与管理：采用配置文件管理各种模型的参数，用户仅需配置自己的API Key和消息即可大规模调用模型。

• 负载均衡：通过配置，允许一个Key在多个模型之间进行负载均衡分配，包括轮询、随机和并行等策略。

• 在线更新与配置：用户可以通过简易的Web界面更新配置，管理起来更加灵活。

• 路由功能：按model_name进行路由，使得不同请求可轻松对应到不同的模型。

使用方法

Docker 部署

1. 创建一个 model-config.json 配置文件，具体配置可以参考文档中的示例。

2. 执行如下命令进行Docker部署：

   docker pull tianminghui/openai-style-api
   
   docker run -d -p 8090:8090 --name openai-style-api\
   -e ADMIN-TOKEN=admin \
   -v /path/to/your/model-config.json:/app/model-config.json \
   tianminghui/openai-style-api

   注意: /path/to/your/model-config.json 需替换为自己文件的实际路径。

本地部署

1. 克隆项目代码并进入目录。

   git clone https://github.com/tian-minghui/openai-style-api.git
   cd openai-style-api

2. 将默认配置文件复制为可编辑的 model-config.json，然后根据需求进行修改。

   cp model-config-default.json model-config.json

3. 安装Python依赖并运行项目。

   pip install -r requirements.txt
   python open-api.py

示例代码

项目提供了一些示例代码，帮助用户理解如何使用不同API调用模型，其中包括curl命令的使用和OpenAI库的集成调用示例。

配置文件示例

配置文件采用JSON格式，用于指定不同模型的关联信息，包括API Base URL、API Key和模型配置等。用户可以根据需要自定义各个配置项，如模型名称、API版本等。

贡献与支持

项目欢迎社区内的开发者和爱好者通过提交代码、提出问题(issue)等形式进行贡献。这种开放、协作的开发模式将助力项目的不断完善与发展。

通过OpenAI-Style-API，开发者和企业可以更轻松地集成多个大型语言模型到自己的应用中，从而推动AI创新的实际应用，提供更智能化的用户体验。