gateway

AI Gateway 项目介绍

AI Gateway是一个功能强大且使用便捷的API，它可以无缝连接超过200个语言、视觉、音频和图像模型，从而简化了复杂的请求处理流程。这个项目的目标是通过统一接口提高效率，并支持诸如缓存、故障转移、重试、超时、负载均衡等功能，以便最低延迟地在网络边缘部署。

项目特色

• 极速稳定：AI Gateway以惊人的速度（9.9倍提升）运行，并且构建大小仅约100kb。
• 负载均衡：在多个模型、服务提供商和密钥之间分配请求，以确保优化性能。
• 故障回退：在出现故障时，有备用计划保障应用程序的稳定性。
• 自动重试：默认支持指数级故障退避策略的请求重试。
• 可配置请求超时：灵活处理不响应的LLM请求。
• 多模态支持：能够在视觉、文本转语音、语音转文本、图像生成等多种模型间进行路由。
• 可插入中间件：根据需要添加插件式中间件。
• 安全且可扩展：支持企业级安全标准、扩展性和定制部署。

使用与安装

用户可以通过托管API快速使用AI Gateway，也可以选择在本地环境中自托管开源或企业版。对于需要快速上手的开发者，托管服务是最快捷的选择，而对于需要更高度定制和安全性的企业用户，推荐使用AI Gateway的企业版本。

托管网关

托管API是面向生成式AI应用的最快捷途径，每日处理数十亿个令牌，已被多家公司使用。

自托管开源版本

开发者可以轻松在本地运行AI网关，只需在终端中执行命令即可启动。同时，项目也提供了多种部署方案，包括Cloudflare、Docker、Node.js等。

网络配置与请求

AI Gateway与OpenAI API和SDK兼容，使得开发者可以通过简单的URL和头信息更新来使用网关。这种兼容性使得请求的格式能够自动适配不同提供商的签名需求。

支持的提供商

Gateway 支持超过 25 个提供商和 6 个框架的集成，例如OpenAI、Azure OpenAI、Google Gemini & Palm等，提供了广泛的可配置选项，使得开发者可以灵活选择最合适的解决方案。

功能特色

AI Gateway 提供诸多前沿功能，例如：

• 故障回退：在请求失败时自动切换至后备提供者或模型。
• 自动重试：对于失败的请求有最多五次的自动重试机会。
• 负载均衡：利用多种提供商和API密钥的请求分配来确保性能的稳定性。
• 请求超时：自动管理请求在超过指定时间后的自动中断。
• 多模态功能：使用OpenAI签名访问多种类型的模型。
• 完整性保障：通过输入输出验证和多种检查来确保数据安全和隐私。

企业版功能

AI企业版能提供：

• 安全密钥管理、语义缓存、访问控制以及PII（个人可识别信息）修订等安全管理功能。
• 符合SOC2、ISO、HIPAA、GDPR等合规性，确保数据的安全性和隐私。
• 专业支持和功能优先化。

社区和贡献

AI Gateway是一个开源项目，社区踊跃且活跃。参与者可以通过处理标记为"good first issue"的问题来贡献项目发展。同时，项目拥有丰富的文档和社区支持渠道，包括Discord和Twitter等。