大数据开发之大数据Kafka:安装Kafka-Eagle
小职 2021-09-02 来源 :「Lansonli」 阅读 1509 评论 0

摘要:本文主要是介绍了大数据开发之大数据Kafka:安装Kafka-Eagle,通过具体的内容向大家展现,希望对大家大数据Kafka的学习有所帮助。

本文主要是介绍了大数据开发之大数据Kafka:安装Kafka-Eagle,通过具体的内容向大家展现,希望对大家大数据Kafka的学习有所帮助。

大数据开发之大数据Kafka:安装Kafka-Eagle

安装Kafka-Eagle

一、Kafka-eagle基本介绍

        在开发工作中,当业务前提不复杂时,可以使用Kafka 命令来进行一些集群的管理工作。但如果业务变得复杂,例如 :我们需要增加group、topic分区 ,此时,我们再使用命令行就感觉很不方便,此时,如果使用一个可视化的工具帮助我们完成日常的管理工作,将会大大提高对于Kafka 集群管理的效率,而且我们使用工具来监控消费者在 Kafka 中消费情况。

        

        早期,要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager,但随着我们对监控的功能要 求、性能要求的提高,这些工具已经无法满足。

        

        Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

二、开启Kafka JMX端口

JMX接口

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务,实际上,用户可以在任何Java应用程序中使用这些代理和服务实现管理。很多的一些软件都提供了JMX接口,来实现一些管理、监控功能。


开启Kafka JMX

在启动Kafka的脚本前,添加:


cd ${KAFKA_HOME}

export JMX_PORT=9988

nohup bin/kafka-server-start.sh config/server.properties &

三、安装Kafka-Eagle

1、安装JDK,并配置好JAVA_HOME

2、将kafka_eagle上传,并解压到 /export/server 目录中

cd /export/software/

tar -xvzf kafka-eagle-bin-1.4.6.tar.gz -C ../server/

cd /export/server/kafka-eagle-bin-1.4.6/ 

tar -xvzf kafka-eagle-web-1.4.6-bin.tar.gz

cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6

3、配置 kafka_eagle 环境变量

vim /etc/profile

export KE_HOME=/export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6

export PATH=$PATH:$KE_HOME/bin

source /etc/profile

4、配置 kafka_eagle。使用vi打开conf目录下的system-config.properties

vim conf/system-config.properties

# 修改第4行,配置kafka集群别名

kafka.eagle.zk.cluster.alias=cluster1

# 修改第5行,配置ZK集群地址

cluster1.zk.list=node1:2181,node2:2181,node3:2181

# 注释第6行

#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

 

# 修改第32行,打开图标统计

kafka.eagle.metrics.charts=true

kafka.eagle.metrics.retain=30

 

# 注释第69行,取消sqlite数据库连接配置

#kafka.eagle.driver=org.sqlite.JDBC

#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db

#kafka.eagle.username=root

#kafka.eagle.password=www.kafka-eagle.org

 

# 修改第77行,开启mys

kafka.eagle.driver=com.mysql.jdbc.Driver

kafka.eagle.url=jdbc:mysql://node1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull

kafka.eagle.username=root

kafka.eagle.password=123456

5、配置JAVA_HOME

cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin

vim ke.sh

# 在第24行添加JAVA_HOME环境配置

export JAVA_HOME=/export/server/jdk1.8.0_241

 6、修改Kafka eagle可执行权限

cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin

chmod +x ke.sh

7、启动 kafka_eagle

./ke.sh start

8、访问Kafka eagle

默认用户为admin,密码为:123456


//node1:8048/ke

大数据开发之大数据Kafka:安装Kafka-Eagle

大数据开发之大数据Kafka:安装Kafka-Eagle

大数据开发之大数据Kafka:安装Kafka-Eagle







我是小职,记得找我

✅ 解锁高薪工作

✅ 免费获取基础课程·答疑解惑·职业测评

大数据开发之大数据Kafka:安装Kafka-Eagle

本文由 @小职 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程