Higress: 基于云原生的AI网关

Higress: 云原生时代的智能API网关

在当今复杂多变的云原生环境中,一个强大而灵活的API网关对于构建可靠、高效的分布式系统至关重要。Higress作为阿里巴巴开源的新一代云原生API网关,凭借其卓越的性能、丰富的功能以及对AI场景的深度优化,正在成为越来越多企业的首选方案。

Higress的核心特性

Higress基于业界领先的Istio和Envoy项目构建,继承了这两个项目的诸多优秀特性,同时结合阿里巴巴内部多年的实践经验,提供了一系列独特的功能:

1. 一站式网关解决方案: Higress实现了流量网关、微服务网关和安全网关的深度集成,大幅简化了网关部署和管理的复杂度。

2. 卓越的性能: 基于Envoy的高性能C++内核,Higress可以轻松处理每秒数十万级的请求量,满足大规模生产环境的需求。

3. 动态配置热更新: 彻底摆脱了传统Nginx reload引起的流量抖动问题,配置变更可在毫秒级生效,对业务完全无感。

4. 全流式处理: 支持对请求/响应Body的完全流式处理,特别适合AI等大带宽场景,可显著降低内存开销。

5. 丰富的扩展能力: 提供Wasm、Lua等多种插件扩展机制,支持多语言插件开发,并实现了插件的热更新。

6. 原生云原生支持: 完全兼容Kubernetes Ingress API和Gateway API,可无缝对接各种云原生生态系统。

7. 内置AI增强功能: 提供一系列针对AI场景优化的插件,如多模型负载均衡、AI token流控、AI缓存等。

Higress在AI网关领域的应用

作为阿里内部的AI网关,Higress已在多个重要的AI业务中得到验证,包括:

• 通义千问APP
• 百炼大模型API
• 机器学习PAI平台

Higress为这些AI应用提供了统一的协议对接层,实现了对国内外各大LLM模型厂商的无缝集成。同时,Higress还提供了一系列AI特化功能:

• AI可观测性: 提供丰富的监控指标和日志,帮助开发者深入了解AI模型的运行状况。
• 多模型负载均衡: 支持在多个AI模型间进行智能流量分发,提高系统的整体性能和可用性。
• AI token流控: 精确控制对AI模型的请求频率,避免模型过载。
• AI结果缓存: 缓存常见的AI请求结果,减少重复计算,提高响应速度。

快速上手Higress

得益于其设计简洁性,Higress的部署和使用非常简单。对于个人开发者或简单场景,只需一行Docker命令即可启动:

docker run -d --rm --name higress-ai -v ${PWD}:/data \
        -p 8001:8001 -p 8080:8080 -p 8443:8443  \
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

这将启动Higress的所有核心组件,包括:

• 8001端口: Higress UI控制台
• 8080端口: HTTP协议入口
• 8443端口: HTTPS协议入口

对于生产环境,Higress提供了完整的Helm Chart,支持在Kubernetes集群中一键部署。

Higress的开源生态

作为一个开源项目,Higress积极拥抱开源社区,并与多个重要的开源项目展开合作:

• 基于Istio和Envoy项目,继承了这两个项目的优秀设计理念。
• 与Dubbo、Nacos、Sentinel等项目深度集成,为微服务架构提供全方位支持。
• 支持对接多种开源注册中心,如ZooKeeper、Consul、Eureka等。

Higress团队也积极为上游社区贡献代码,已有多个重要的Bugfix被合并到Istio和Envoy主线。

结语

Higress作为一个融合了云原生、微服务和AI特性的新一代API网关,正在快速获得开发者和企业的青睐。其强大的功能、卓越的性能以及对AI场景的深度优化,使其成为构建现代分布式系统的理想选择。无论您是在开发AI应用、构建微服务架构,还是需要一个高性能的流量网关,Higress都能满足您的需求。

欢迎访问Higress官网了解更多信息,或加入Higress的GitHub仓库参与这个激动人心的开源项目。让我们一起,打造云原生时代的智能API网关!