沉沙
2018-10-08
来源 :
阅读 1667
评论 0
摘要:本篇教程探讨了大数据技术 Hadoop学习(06):集群搭建,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
本篇教程探讨了大数据技术 Hadoop学习(06):集群搭建,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
<
序
上一篇,我们把Ambari的环境基本搭建好了,那么我们趁热打铁,打造我们的第一个HDP集群,这样,离我们下一步就越来越近了,在安装中还是会碰到很多想不到的情况的。所以,注意分析,找到解决方法很重要。
对了,这里我们还是多搭建了一个机器H34,怕集群机器不够。大家按照原来的步骤在做一个吧。
集群搭建
一:登陆
使用我们设置的Ambari服务器登陆,还记得么,在H30上面。
二:主界面
我们看到圈起来的地方就是我们要搭建集群的地方。
三:新建集群
这里,我们使用MyCluster作为我们第一个集群的名称。
四:选择HDP版本和源
我们当然选择最新的HDP2.3,玩就玩最新的,要不老是在别人后面,多不好啊。
这里我们得设置HDP和 HDP-UTILS的源,我们已经搭建好了仓库,可以直接使用本地源了。
五:将SSH私有Key放到本机
由于是页面登陆,当然如果H30开启了GUI界面,是可以不用这个操作的。
目前我们使用的没有GUI界面的Linux,所以,得在浏览器使用的机器上能使用的到ssh private key。
过程很简单,就不上图了。
六:选择带集群的机器
这里我们选择了事前准备好的H31,H32,H33这3台机器,由于本机的性能一般,很快内存,IO就占满了,所以没有使用很多的机器做集群。
七:修改ambari.repo文件
vim /etc/yum.repos.d/ambari.repo
将线上库改成本地的http资源。
八:Confirm Hosts
核实主机群。确保这里待集群主机有符合的运行环境。
九:选择待安装库
我们根据自己的需要来选择带安装的。
十:集群结构搭建
我们选择H31作为主NameNode,H32作为Second NameNode。
十一:集群结构搭建2
选择H31,H32作为NodeManager,H33,H34作为DataNode
十二:自定义服务群
这里,一半NameNode需要比较大内存的,但是没办法,所以 这里也不自定义修改了,就那么多,全用了。
十三:Review
Review下我们的配置情况。
十四:Deploy
开始安装等环节了。
十五:Deploy2
我们可以看到success了。
十六:Summary
安装过程的总结。
监控
一:仪表盘
在这里,我们可以全面,直观的看到整个集群的运行情况,可以大大的提高了运维的效率。
二:服务
在这里,可以看到例如HDFS,Zookeeper,SparK这些服务的情况。
三:Hosts
我们可以看到,集群中所有的主机信息,状态。
四:报警
如果集群中出现了什么问题,这里是可以实时的监控的到的,很是方便。
到此,我们这章节的内容已经完毕,基本上环境搭建的部分告一段落,后面我们就是对HDP的应用了。
本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了

请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号