摘要:本篇教程探讨了大数据技术 hadoop 2.7.2+zookeeper高可用集群部署,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
本篇教程探讨了大数据技术 hadoop 2.7.2+zookeeper高可用集群部署,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
<
一.环境说明
虚拟机:vmware 11
操作系统:Ubuntu 16.04
Hadoop版本:2.7.2
Zookeeper版本:3.4.9
二.节点部署说明
三.Hosts增加配置
sudo gedit /etc/hosts
wxzz-pc、wxzz-pc0、wxzz-pc1、wxzz-pc2均配置如下:
127.0.0.1 localhost
192.168.72.132 wxzz-pc
192.168.72.138 wxzz-pc0
192.168.72.135 wxzz-pc1
192.168.72.136 wxzz-pc2
四.zookeeper上配置
Zoo.cfg配置文件内容如下:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper-3.4.9/tmp/dataDir
dataLogDir=/opt/zookeeper-3.4.9/tmp/logs/
clientPort=2181
server.1=wxzz-pc:2182:2183
server.2=wxzz-pc0:2182:2183
server.3=wxzz-pc1:2182:2183
在/opt/zookeeper-3.4.9/tmp/dataDir下新建”myid”文件,wxzz-pc、wxzz-pc0、wxzz-pc1三台虚拟机中myid文件分别对应的内容为:1、2、3,也就是server.X=wxzz-pc:2182:2183,对应X的数值。
五.Hadoop配置
1.core-site.xml 配置
2. hdfs-site.xml 配置
3. mapred-site.xml 配置
4.yarn-site.xml 配置
六.服务启动
1.在各个Journal Node节点上,输入以下命令启动Journal Node
sbin/hadoop-daemon.sh start journalnode
2.在[nn1]上,进行格式化,并启动
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
3.在[nn2]上,同步[nn1]的元数据信息,并启动
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
经过以上3步,[nn1]和[nn2]均处在standby状态
4.[nn1]节点上,将其转换为active状态
bin/hdfs haadmin –transitionToActive --forcemanual nn1
5.在[nn1]上,启动所有datanode
sbin/hadoop-daemons.sh start datanode
6.在[nn1]上,启动yarn
sbin/start-yarn.sh
如果要关闭集群,在[nn1]上输入sbin/stop-all.sh即可。以后每次启动的时候,需要按照上面的步骤启动,不过不需要执行2 的格式化操作。
本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号