BricksLLM学习资料汇总 - 企业级API网关助您监控和管理LLM使用

BricksLLM简介

BricksLLM是一个用Go语言编写的云原生AI网关，旨在为企业提供生产级别的LLM基础设施。它目前原生支持OpenAI、Anthropic、Azure OpenAI和vLLM等主流LLM服务，可以帮助企业轻松实现以下功能:

• 为不同定价级别的用户设置LLM使用限制
• 按用户和组织跟踪LLM使用情况
• 屏蔽或编辑包含PII的请求
• 通过故障转移、重试和缓存提高LLM的可靠性
• 为内部开发/生产用例分发带有速率限制和成本限制的API密钥
• 为学生分发带有速率限制和成本限制的API密钥

主要特性

BricksLLM提供了以下核心功能:

• PII检测和屏蔽
• 速率限制
• 成本控制
• 成本分析
• 请求分析
• 缓存
• 请求重试
• 故障转移
• 模型访问控制
• 端点访问控制
• 原生支持所有OpenAI端点
• 原生支持Anthropic
• 原生支持Azure OpenAI
• 原生支持vLLM
• 原生支持Deepinfra
• 支持自定义部署
• 集成自定义模型
• Datadog集成
• 隐私控制日志

快速入门

最简单的BricksLLM入门方式是通过BricksLLM-Docker。您可以按照以下步骤快速部署:

1. 克隆BricksLLM-Docker仓库
2. 切换到BricksLLM-Docker目录
3. 使用Docker Compose在本地部署BricksLLM(含PostgreSQL和Redis)
4. 创建提供商设置
5. 创建Bricks API密钥

完成这些步骤后,您就可以开始使用BricksLLM了。详细的入门指南请参考官方文档。

学习资源

官方文档

• BricksLLM GitHub仓库 - 包含完整的项目介绍、安装指南和API文档
• BricksLLM管理服务器Swagger文档
• BricksLLM代理服务器Swagger文档

教程和示例

• PII检测和屏蔽教程
• OpenAI与Azure OpenAI故障转移示例
• 细粒度访问控制示例
• vLLM集成教程

社区资源

• BricksLLM Discord社区 - 加入讨论,获取支持
• BricksLLM博客 - 了解BricksLLM的技术细节和最佳实践

更新和维护

要更新到最新版本,请运行:

docker pull luyuanxin1995/bricksllm:latest

要更新到特定版本,请运行:

docker pull luyuanxin1995/bricksllm:<version>

例如:

docker pull luyuanxin1995/bricksllm:1.4.0

结语

BricksLLM为企业级LLM应用提供了强大的基础设施支持。通过本文提供的学习资源,相信您可以快速掌握BricksLLM的使用,并将其应用到您的生产环境中。如果您在学习过程中遇到任何问题,欢迎加入BricksLLM的Discord社区寻求帮助。祝您使用愉快!