失眠网 > Kafka 消息监控 - Kafka Eagle

Kafka 消息监控 - Kafka Eagle

时间：2023-06-03 13:01:57

1.概述

在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 Kafka 提供的命令工具，已预感到力不从心，这时候 Kafka 的监控系统此刻便尤为显得重要，我们需要观察消费应用的详情。监控系统业界有很多杰出的开源监控系统。我们在早期，有使用 KafkaMonitor 和 Kafka Manager 等，不过随着业务的快速发展，以及互联网公司特有的一些需求，现有的开源的监控系统在性能、扩展性、和 DEVS 的使用效率方面，已经无法满足了。因此，我们在过去的时间里，从互联网公司的一些需求出发，从各位 DEVS 的使用经验和反馈出发，结合业界的一些开源的 Kafka 消息监控，用监控的一些思考出发，设计开发了现在 Kafka 集群消息监控系统：Kafka Eagle。

Kafka Eagle 用于监控 Kafka 集群中 Topic 被消费的情况。包含 Lag 的产生，Offset 的变动，Partition 的分布，Owner ，Topic 被创建的时间和修改的时间等信息。下载地址如下所示：

［Kafka Eagle 下载地址］［Kafka Eagle Github］

2.内容

Kafka Eagle 涉及以下内容模块：

DashboardTopic（Create & List）ConsumersCluster Info

2.1 Dashboard

我们通过在浏览器中输入 http://host:port/ke，访问 Kafka Eagle 的 Dashboard 页面。该页面包含以下内容：

BrokersTopicsZookeepersConsumersKafka Brokers Graph

展示 Kafka 集群的 Topic 数量，消费者数量，Kafka 的 Brokers 数，以及所属的 Zookeeper 集群信息。Dashboard 信息展示截图如下：

2.2 Topic

在 Topic 模块下，包含创建 Topic 和展示 Topic 信息详情。

2.2.1 Create

通过创建模块可以创建一个自定义分区和备份数的 Topic。如下图所示：

2.2.2 List

该模块下列出 Kafka 集群中所有的 Topic，包含 Topic 的分区数，创建时间以及修改时间，如下图所示：

上图中，每一个 Topic 名称对应一个详情的超链接，通过该链接可以查看该 Topic 的详情，如：分区索引号，Leader，Replicas 和 Isr，如下图所示所示：

2.3 Consumers

该模块显示有消费记录的 Topic 信息，其中包含如下内容：

RunningPendingActive Topic GraphOffsets Rate Graph

2.4 Cluster Info

该模块显示 Kafka 集群信息和 Zookeeper 集群信息，包含如下内容：

Kafka Broker Host & IPKafka Broker Created & Modify DateZookeeper Host & IP

3.数据采集

Kafka Eagel 监控的消息数据源，来自于 Zookeeper。由于创建，修改或是消费 Kafka 的消息，都会在 Zookeeper 中进行注册，我们可以从中获取数据的变动，例如：Topic，Brokers，Partitions 以及 Group 等，Kafka 在 Zookeeper 的结构存储，如下图所示：