Burrow - Kafka消费者滞后检查

Burrow是一个用于Apache Kafka的监视伴侣,它提供了无需指定阈值的消费者滞后检查服务。它监控所有消费者的已提交偏移量,并按需计算这些消费者的状态。提供了一个HTTP端点来按需请求状态,以及提供其他Kafka集群信息。还有可配置的通知程序,可以通过电子邮件或HTTP调用另一个服务发送状态。

特性

无需阈值!组是在滑动窗口上评估的。
多Kafka集群支持
自动监控使用Kafka提交偏移量的所有消费者
可配置的Zookeeper提交偏移量支持
可配置的Storm提交偏移量支持
提供消费者组状态、代理和消费者信息的HTTP端点
可配置的电子邮件程序,用于发送特定组的警报
可配置的HTTP客户端,用于向另一个系统发送所有组的警报

入门

先决条件

Burrow是用Go编写的,所以在开始之前,您应该安装并设置Go。由于依赖项是使用Go module管理的,支持的最低Go版本是1.11,但我们建议使用1.12版本进行开发。

构建和安装

$ 将github.com/linkedin/Burrow克隆到$GOPATH外的目录。或者,您可以导出GO111MODULE=on来启用Go module。
$ 进入源码目录。
$ go mod tidy
$ go install

运行Burrow

$ $GOPATH/bin/Burrow --config-dir /包含配置的路径

使用Docker

提供了一个Docker文件,它在Alpine Linux映像上构建了这个项目。要使用它,请构建您的Docker容器,将Burrow配置安装到/etc/burrow,然后运行Docker。

还有一个Docker Compose,可以快速轻松地进行开发。

安装Docker Compose后:

构建Docker容器:
```
docker-compose build
```
运行Docker Compose堆栈,其中包括kafka和zookeeper:
```
docker-compose down; docker-compose up
```
默认已经创建了一些测试主题,Burrow可以在http://localhost:8000/v3/kafka上访问。