api-for-open-llm

简介

API for Open LLMs 项目是一个开源软件，旨在为不同的大语言模型（LLMs）提供统一的后端接口，特别是与 OpenAI 的 API 保持一致。这一平台不仅允许用户调用各类开源大语言模型，还提供流式响应支持、文本嵌入博化模型支持及大规模语言开发工具链的集成，并且能替代 OpenAI 的 ChatGPT，成为各类应用程序的后端。

新闻动态

最新支持模型

• 2024.06.13：新增对 MiniCPM-Llama3-V-2_5 模型的支持。
• 2024.06.12：GLM-4V 模型现已支持。
• 2024.06.08：QWEN2 模型得到支持。
• 2024.06.05：GLM4 模型支持已上线。
• 2024.04.18：新增对 Code Qwen 模型的支持。
• 2024.04.16：支持 Rerank 重新排序模型。
• 2024.02.26：QWEN1.5 模型环境配置更新。

查看更多动态请访问 新闻页面。

项目主要特性

• 兼容性：以 OpenAI ChatGPT API 的方式调用开源大模型。
• 流式响应：实现流式数据传输，提供打印机效果。
• 文本嵌入：支持嵌入模型，用于文档问答。
• 工具链集成：支持 langchain 的大规模语言开发。
• 环境配置容易：简单调整环境变量即可加载模型。
• 训练模型支持：支持加载自主训练的 lora 模型。
• 推理加速：通过 vLLM 提高推理速度并处理并发请求。

使用指南

环境变量

• OPENAI_API_KEY: 任意填写一个字符串即可。
• OPENAI_API_BASE: 指定后端接口地址，例如：http://192.168.0.xx:80/v1。

启动指南

1. 进入项目目录，例如 streamlit-demo。
2. 安装所需依赖：pip install -r requirements.txt。
3. 运行应用：streamlit run streamlit_app.py。

项目的调用方式与 OpenAI API 保持相似，通过环境变量配置可广泛用于各种应用和前后端项目的集成。

支持模型

语言模型

项目支持的开源大语言模型包括：

• Baichuan
• ChatGLM
• DeepSeek
• InternLM
• LLaMA 系列
• Qwen 系列
• Yi 系列

每个模型均提供不同的参数大小供选择，支持的参数大小详见 API 的文档。

嵌入模型

提供多个嵌入模型供文本处理使用，包括：

• bge-large-zh
• m3e-large
• text2vec-large-chinese
• bce-embedding-base_v1（推荐）

每个模型都支持高维的文本嵌入操作，从而帮助文档的知识问答功能。

常见问题

有关软件的常见问题和解决方法，请参考 FAQ 文档。

许可证

项目使用 Apache 2.0 许可证开放，详细信息请查阅 LICENSE 文件。

参考文献

• 参考了多个开源语言模型项目，例如 ChatGLM, BLOOM, LLaMA 等，详情请见项目主页的引用部分。

本项目提供了在开源大语言模型上的便捷访问和操作，对于研究和开发者来说，是一个强大的利器。用户可以通过简单的配置，快速启动并使用这些强大的大语言模型来实现各类复杂的语言任务。