BricksLLM

BricksLLM 项目介绍

BricksLLM 是由 Go 语言编写的云原生 AI 网关，旨在为投产的大型语言模型（LLMs）使用场景提供企业级的基础设施支持。它现已支持 OpenAI、Anthropic、Azure OpenAI 和 vLLM，并能很好地适配各种生产环境下的 LLM 用例。

项目亮点

BricksLLM 提供了一系列实用功能，这些功能能够满足不同用户群体和组织的需求：

• 设置使用限制：用户可以根据不同的价格梯度为 LLM 使用设置限制。
• 跟踪使用情况：系统支持以用户和组织为基础追踪 LLM 使用情况。
• 请求内容屏蔽：能够阻止或编辑包含个人识别信息（PII）的请求。
• 提高可靠性：通过接管、重试和缓存功能提升 LLM 的可靠性。
• API 密钥分发：在内部开发/生产使用场景下，提供速率限额和成本限额的 API 密钥分发能力。这也包含对学生用户的支持。

主要功能

BricksLLM 带有丰富的功能模块，支持用户根据需求进行选择和配置：

• PII 检测与遮蔽：检测并处理请求中的个人识别信息。
• 速率限制：限制 API 请求的速率。
• 成本控制和分析：为 API 使用设定开销上限，并对使用情况进行分析。
• 请求分析：提供对请求的统计与分析功能。
• 请求缓存与重试：便利的请求接管与重试机制，保证系统的总体表现。
• 故障接管：为故障切换提供支持，确保系统运行的稳定性。
• 模型及端点访问控制：精细化的权限管理，确保安全。
• 全面支持多种 AI 平台：BricksLLM 天然支持 OpenAI、Anthropic、Azure OpenAI、vLLM 以及 Deepinfra，同时也支持用户自定义部署及模型集成。
• 日志与隐私控制：对日志进行处理和保护用户隐私。

开始使用

开始体验 BricksLLM 非常简单，只需几个步骤即可部署：

1. 克隆 BricksLLM-Docker 仓库

   git clone https://github.com/bricks-cloud/BricksLLM-Docker

2. 进入 BricksLLM-Docker 目录

   cd BricksLLM-Docker

3. 本地部署 BricksLLM （包含 PostgreSQL 和 Redis）

   docker compose up

4. 创建提供商设置

   使用 curl 命令配置 OpenAI 密钥。

5. 创建 Bricks API 密钥

   利用上一步所生成的 id，创建一个速率限制为2次/分钟，花费上限为25美分的密钥。

完成以上步骤后，即可将请求重定向至 BricksLLM，并如常使用 OpenAI。

更新指南

更新至最新版本：

docker pull luyuanxin1995/bricksllm:latest

更新至特定版本：

docker pull luyuanxin1995/bricksllm:1.4.0

文档与支持

BricksLLM 附带详尽的文档和支持，包括环境变量设置、管理员服务器、以及代理服务器的 Swagger 文档等，帮助用户轻松地集成与管理系统。

BricksLLM 在提供强大的技术支持的同时，致力于为用户降低使用门槛，旨在成为 AI 应用落地的坚实基础设施。