OpenAOE

项目介绍

什么是 OpenAOE？

OpenAOE 的名称来源于游戏 DOTA2 的术语 "Area Of Effect"（AOE），表示一种能够影响特定范围内多个目标的能力。在人工智能领域，AOE 的概念意味着用户可以通过一个简单的提示，同时从多个大型语言模型（LLMs）中获得并行的输出结果。

OpenAOE 解决了什么问题？

当前市面上有很多基于 ChatGPT 的开源聊天框架，但仍然缺乏一个支持多模型群聊的 LGC（LLM Group Chat）框架。OpenAOE 的出现填补了这一空白。它为 LLM 研究人员、评估者、工程开发者甚至普通用户提供了便捷的方式去接触市场上知名的商用和开源 LLM，支持单一模型串行响应模式和多模型并行响应模式。

OpenAOE 能带来什么？

OpenAOE 提供的功能包括：

通过一个提示词同时返回一个或多个 LLM 的答案。
接入商用大型模型 API，默认支持 gpt3.5、gpt4、Google Palm、Minimax、Claude、Spark 等，并且支持用户定义接入其他大型模型 API。（需要提前准备 API 密钥）
提供开源 LLM API 的接入。（推荐使用 LMDeploy 一键部署）
提供后端 API 和 WEB-UI，满足不同需求的使用。

快速运行

提示：要求 Python 版本不低于 3.9

OpenAOE 提供了三种运行方式：通过 pip 运行、通过 Docker 运行和通过源代码运行。

通过 pip 运行

安装

pip install -U openaoe

启动

openaoe -f /path/to/your/config-template.yaml

通过 Docker 运行

安装

可以通过以下两种方式获取 OpenAOE 的 Docker 镜像：

拉取 OpenAOE 的 Docker 镜像

docker pull opensealion/openaoe:latest

或者构建 Docker 镜像

git clone https://github.com/internlm/OpenAOE
cd OpenAOE
docker build . -f docker/Dockerfile -t opensealion/openaoe:latest

启动

docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest

通过源代码运行

安装

克隆项目

git clone https://github.com/internlm/OpenAOE

[可选] 如果前端代码有更改，构建前端项目

cd OpenAOE/openaoe/frontend
npm install
npm run build

启动

cd OpenAOE # 这是克隆的目录
pip install -r openaoe/backend/requirements.txt
python -m openaoe.main -f /path/to/your/config-template.yaml

提示：/path/to/your/config-template.yaml 是 OpenAOE 启动时加载的配置文件，其中包含有关 LLM 的相关配置信息，例如 API URL、密钥等。模版配置文件可以在 openaoe/backend/config/config-template.yaml 找到。请注意，该配置文件不包含任何 API 访问数据，需要用户自行添加。

技术报告

如果您有兴趣基于 OpenAOE 添加更多的 LLM API 或功能，以下信息可能会对您有所帮助。

技术栈

OpenAOE 使用的技术栈包括：

后端框架基于 Python + FastAPI。
前端框架基于 TypeScript + Sealion-Client（基于 React 封装）+ Sealion-UI。
构建工具：
1. conda：快速创建虚拟 Python 环境以安装必要包
2. npm：构建前端项目

提示：通过运行 pip install -U sealion-cli 可以快速安装构建工具。

仓库结构

前端代码位于 openaoe/frontend
后端代码位于 openaoe/backend
项目入口为 openaoe/main.py

如何添加新模型

前端

在 openaoe/frontend/src/config/model-config.ts 中添加新模型信息，如 name、avatar、provider 等
在 openaoe/frontend/src/config/api-config.ts 中添加新模型的基本 API 请求负载配置
在 openaoe/frontend/src/services/fetch.ts 中根据模型的 API 定义修改请求负载的结构并处理特殊情况

OpenAOE 项目不仅提供了便捷的工具和接口，还有一个活跃的开源社区鼓励您参与并做出贡献。