大数据技术 Hadoop学习(05):Ambari
沉沙 2018-10-08 来源 : 阅读 1260 评论 0

摘要:本篇教程探讨了大数据技术 Hadoop学习(05):Ambari,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 Hadoop学习(05):Ambari,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

<



      这里我们选择Ambari作为HDP的生产管理工具,如果我们一个个去配置HDP,很浪费时间,也很没有效率,成功率。生产环境也得尽量的自动化,让工具帮我们做大部分重复的工作,解放双手,解放时间,解放效率。

      下面我们就Ambari的在线安装展开叙述,如果大家对离线安装感兴趣,到时候再加篇幅进行叙述。

引入背景

      虽然大数据越来越流行,但其学习的门槛却一直阻碍着很多的分布式应用初学者或者大数据的业务应用开发者。多个产品之间的不兼容问题,快速集成和维护也显得比较困难。不管是 Hadoop V1 或者 V2 的安装,又或者 Spark/YARN 等的集成,都不是几行简单的命令可以完成的,而是需要手工修改很多的集群配置,这进一步增加了业务开发者的学习和使用难度。有了 Ambari,这些都不再是难题。

Ambari介绍

      Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.0.1,未来不久将发布 2.1 版本。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

      说到这里,大家就应该明白什么人最需要 Ambari 了。那些苦苦花费好几天去安装、调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的。而且,Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署。

      Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。详细的操作和介绍会在后续章节介绍。

在线安装

    一:查看官网

      官网上对ambari的介绍,安装,使用,都做了阐述,所以尽量按官网的来。

      项目地址://ambari.apache.org/
    二:下载Ambari的yum仓库资源描述文件

    cd /etc/yum.repos.d/

    wget //public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.1/ambari.repo

      这里我们使用最新的2.1.1这个版本。官网上有对应不用系统的资源文件,大家注意下,免得下错了。
    三:开启yum的在线安装缓存资源备份

      开启后,在线安装的资源就不用再下下来了,直接以后可以离线安装了。

    vim /etc/yum.conf 

      修改成:keepcache=1

      下载的地址:/var/cache/yum/
    四:在线安装

    yum install ambari-server

      效果图:

      下载失败,多试几次。

     

    五:Ambari设置

      安装ambari后需要设置,Ambari 会使用 Postgres 数据库,默认会安装并使用 Oracle 的 JDK。默认设置了 Ambari GUI 的登录用户为 admin/admin。并且指定 Ambari Server 的运行用户为 root。

    ambari-server setup

      自定义账号:

      选择JDK:

      choose 2

      这里又要下载,一般我们都有这样的jdk包,那能不能从本地直接装列?

      有了想法就行动,跟我来。

      分析图中,是将JDK 下载到ambari-server/resources/下面,这就好办了。我们把我们下好的放过去。

    cd /var/lib/ambari-server/resources/
    ls
    rm jdk-7u67-linux-x64.tar.gz.tmpdownload

      拷贝文件到对应目录

     

       然后我们重新setup

      明显看到,它发现了jdk的存在,就没有去下了。

      数据库配置

      我们选择PostgreSQL (Embedded)

      Enter advanced database configuration [y/n] (n)? y

      Enter choice (1): 1

      输入数据库名称:ambari

      等等,直接上图

      这样,我们的Ambari-server就设置完毕了。
    六:启动Ambari-server服务

    ambari-server start

      检查是否成功

     ps -ef|grep Ambari

      网页登陆://192.168.1.30:8080

      登陆后我们可以看到:

      这样,我们的ambar-server配置完毕。    

本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程