失眠网 > Kafka 监控 Kafka Eagle 精简版本

Kafka 监控 Kafka Eagle 精简版本

时间：2023-04-17 16:50:12

文章目录

一、Kafka Eagle 下载、编译流程1. Kafka Eagle下载2. 解压Kafka Eagle3. 进入解压的目录4. 编译项目5. 添加编译环境6. 运行脚本编译项目二、Kafka Eagle 正式配置流程2.1. 进入编译获得web目录2.2. 将编译后的tar解压到/app目录2.3. 在/app目录下面查看2.4. 配置文件修改三、修改kafka配置3.1. 修改 kafka 启动命令3.2. 同步配置文件到ly-02 ly-03节点3.3. 启动zk集群脚本3.4. 启动kafka集群脚本3.6. 启动kafka eagle四、登录web页面4.1. 浏览器访问4.2. 登录4.2. 登录后页面

一、Kafka Eagle 下载、编译流程

1. Kafka Eagle下载

wget /smartloli/kafka-eagle/archive/v1.4.3.tar.gz

2. 解压Kafka Eagle

tar -zxf v1.4.3.tar.gz

3. 进入解压的目录

cd kafka-eagle-1.4.3/

4. 编译项目

前提：Centos7 安装maven，如果没有安装，请点击链接，先安装maven。

5. 添加编译环境

不添加会抛出以下错误

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project kafka-eagle-common: Compilation failure: Compilation failure: [ERROR] /usr/local/src/kafka/kafka-eagle/kafka-eagle-common/src/main/java/org/smartloli/kafka/eagle/common/util/KafkaZKPoolUtils.java:[44,84] diamond operator is not supported in -source 1.5[ERROR] (use -source 7 or higher to enable diamond operator)

按照大神的说法，修改pom.xml文件，在最后一行之前添加以下内容：

<build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.2</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin></plugins></build>

6. 运行脚本编译项目

./build.sh

二、Kafka Eagle 正式配置流程

2.1. 进入编译获得web目录

cd /app/software/kafka-eagle-1.4.3/kafka-eagle-web/target

2.2. 将编译后的tar解压到/app目录

tar -zxvf kafka-eagle-web-1.4.3-bin.tar.gz -C /app/

2.3. 在/app目录下面查看

略

2.4. 配置文件修改

cd /app/kafka-eagle-web-1.4.3/confvim system-config.properties

第1处第4行

配置zk集群信息

kafka.eagle.zk.cluster.alias=cluster1cluster1.zk.list=ly-01:2181,ly-02:2181,ly-03:2181

修改第2处第20行

配置zk集群信息

cluster1.kafka.eagle.offset.storage=kafka

修改第3处第30行

开启仪表盘显示

kafka.eagle.metrics.charts=true

修改第4处注释第67行至70行

关闭默认使用Sqlite进行存储

开启存储Kafka Eagle元数据信息的MySQL数据库，

kafka.eagle.driver=com.mysql.jdbc.Driverkafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroD ateTimeBehavior=convertToNullkafka.eagle.username=rootkafka.eagle.password=root

三、修改kafka配置

3.1. 修改 kafka 启动命令

修改kafka-server-start.sh命令中

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi

为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi

注意：修改之后在启动 Kafka 之前要分发或者同步到其他2个节点

3.2. 同步配置文件到ly-02 ly-03节点

scp /app/kafka/bin/kafka-server-start.sh root@ly-02:/app/kafka/binscp /app/kafka/bin/kafka-server-start.sh root@ly-03:/app/kafka/bin

3.3. 启动zk集群脚本

./zkmanage.sh start

脚本内容：

#!/bin/bashfor host in ly-01 ly-02 ly-03doecho "${host}:$1ing....."ssh $host "source /etc/profile;/app/zookeeper-3.5.7/bin/zkServer.sh $1"donesleep 2for host in ly-01 ly-02 ly-03dossh $host "source /etc/profile;/app/zookeeper-3.5.7/bin/zkServer.sh status"done

附上：zk停止命令

./zkmanage.sh stop

3.4. 启动kafka集群脚本

./kk-start.sh

kafka启动脚本内容：

#!/bin/bashfor host in ly-01 ly-02 ly-03doecho "${host}:$1 kafka starting....."ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-start.sh -daemon /app/kafka/config/server.properties"done

kafka 关闭集群脚本内容：

#!/bin/bashfor host in ly-01 ly-02 ly-03doecho "${host}:$1 kafka stopping....."ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-stop.sh /app/kafka/config/server.properties"done