kafka_exporter

kafka_exporter

Prometheus的Kafka导出器。有关Kafka的其他指标，请查看JMX导出器。

兼容性

支持Apache Kafka 0.10.1.0版本（及更高版本）。

依赖

下载

可以从发布页面下载二进制文件。

编译

构建二进制文件

[object Object]

构建Docker镜像

[object Object],[object Object],[object Object]

Docker Hub镜像

[object Object],[object Object]

可以直接使用，而无需自己构建镜像。（Docker Hub danielqsj/kafka-exporter）

运行

运行二进制文件

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

运行Docker镜像

docker run -ti --rm -p 9308:9308 danielqsj/kafka-exporter --kafka.server=kafka:9092 [--kafka.server=another-server ...]

运行Docker Compose

创建一个docker-compose.yml文件

services:
  kafka-exporter:
    image: danielqsj/kafka-exporter 
    command: ["--kafka.server=kafka:9092", "[--kafka.server=another-server ...]"]
    ports:
      - 9308:9308

然后运行

docker-compose up -d

参数

此镜像可通过不同的参数进行配置

参数名	默认值	描述
kafka.server	kafka:9092	Kafka服务器的地址（主机:端口）
kafka.version	2.0.0	Kafka代理版本
sasl.enabled	false	使用SASL/PLAIN连接
sasl.handshake	true	仅当使用非Kafka SASL代理时设置为false
sasl.username		SASL用户名
sasl.password		SASL用户密码
sasl.mechanism		SASL机制可以是plain、scram-sha512、scram-sha256
sasl.service-name		使用Kerberos认证时的服务名称
sasl.kerberos-config-path		Kerberos配置路径
sasl.realm		Kerberos领域
sasl.keytab-path		Kerberos keytab文件路径
sasl.kerberos-auth-type		Kerberos认证类型。可以是'keytabAuth'或'userAuth'
tls.enabled	false	使用TLS连接到Kafka
tls.server-name		用于验证返回证书上的主机名，除非设置了tls.insecure-skip-tls-verify。应提供Kafka服务器的名称
tls.ca-file		Kafka TLS客户端认证的可选证书颁发机构文件
tls.cert-file		Kafka客户端认证的可选证书文件
tls.key-file		Kafka客户端认证的可选密钥文件
tls.insecure-skip-tls-verify	false	如果为true，将不检查服务器证书的有效性
server.tls.enabled	false	为Web服务器启用TLS
server.tls.mutual-auth-enabled	false	启用TLS客户端相互认证
server.tls.ca-file		Web服务器的证书颁发机构文件
server.tls.cert-file		Web服务器的证书文件
server.tls.key-file		Web服务器的密钥文件
topic.filter	.*	确定要收集哪些主题的正则表达式
topic.exclude	^$	确定要排除哪些主题的正则表达式
group.filter	.*	确定要收集哪些消费者组的正则表达式
group.exclude	^$	确定要排除哪些消费者组的正则表达式
web.listen-address	:9308	Web界面和遥测的监听地址
web.telemetry-path	/metrics	暴露指标的路径
log.enable-sarama	false	开启Sarama日志记录
use.consumelag.zookeeper	false	如果需要使用来自zookeeper的组
zookeeper.server	localhost:2181	Zookeeper服务器的地址（主机）
kafka.labels		Kafka集群名称
refresh.metadata	30s	元数据刷新间隔
offset.show-all	true	是否显示所有消费者组的偏移量/滞后，否则只显示已连接的消费者组
concurrent.enable	false	如果为true，所有抓取将触发Kafka操作，否则它们将共享结果。警告：在大型集群上应禁用此选项
topic.workers	100	主题工作线程数量
verbosity	0	日志详细程度

注意事项

布尔值由Kingpin进行唯一管理。每个布尔标志都有一个否定补充： --<name>和--no-<name>。

例如：

如果需要禁用sasl.handshake，可以添加标志--no-sasl.handshake

指标

关于暴露的Prometheus指标的文档。

有关底层指标的详细信息，请参阅Apache Kafka。

代理

指标详情

名称	暴露的信息
`kafka_brokers`	Kafka集群中的代理数量

指标输出示例

[object Object]

主题

指标详情

名称	暴露的信息
`kafka_topic_partitions`	该主题的分区数量
`kafka_topic_partition_current_offset`	主题/分区上代理的当前偏移量
`kafka_topic_partition_oldest_offset`	主题/分区上代理的最旧偏移量
`kafka_topic_partition_in_sync_replica`	该主题/分区的同步副本数量
`kafka_topic_partition_leader`	该主题/分区的领导者代理ID
`kafka_topic_partition_leader_is_preferred`	如果主题/分区使用首选代理则为1
`kafka_topic_partition_replicas`	该主题/分区的副本数量
`kafka_topic_partition_under_replicated_partition`	如果主题/分区副本数不足则为1

指标输出示例

[object Object]

消费者组

指标详情

名称	暴露的信息
`kafka_consumergroup_current_offset`	消费者组在主题/分区上的当前偏移量
`kafka_consumergroup_lag`	消费者组在主题/分区上的当前大致滞后量
`kafka_consumergroupzookeeper_lag_zookeeper`	消费者组在主题/分区上的当前大致滞后量(zookeeper)