大数据技术 CM (Cloudera Manager) 安装教程
沉沙 2018-09-21 来源 : 阅读 1687 评论 0

摘要:本篇教程探讨了大数据技术 CM (Cloudera Manager) 安装教程,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 CM (Cloudera Manager) 安装教程,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

<

一、准备工作
主机个数:n台
操作系统:CentOS 6.5
 
安装所需软件包:
CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz              
CDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel                            
                  CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha    #将下载的 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1重命名为CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
                  manifest.json
JDK: jdk-7u67-linux-x64.rpm                   
MySql driver: mysql-connector-java-5.1.26-bin.jar
 
软件下载地址:
CDH下载地址: //archive.cloudera.com/cdh5/
               其中parcels地址://archive.cloudera.com/cdh5/parcels/5.4.0
CM下载地址://www.cloudera.com/downloads/manager/5-4-3.html
 
CM安装官方文档说明:
//www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html
二、系统环境配置
1、配置网络环境

将主机修改为静态IP
修改主机名及对应的IP

2、SHH设置免密码登录
               ssh-keygen -t rsa        #生成密钥文件
               ssh-copy-id  主机名   #将生成的公钥文件copy到指定主机
3、关闭防火墙
               service iptables stop         #关闭防火墙
               chkconfig iptables off       #关闭开机启动
4、关闭SELinux
               setenforce 0  #临时关闭
               vi /etc/selinux/config  修改SELINUX=disabled      #永久生效
5、配置时间同步
               yun install ntp    
               chkconfig ntp on
               ntpdate -u ntp.sjtu.edu.cn  #如果此时间服务器无效,可网上找寻其他时间服务器
6、安装JDK
Jdk版本官网要求:1.7.0_67  1.7.0_75  1.8.0_60 
安装准备好的rpm包:rpm –ivh jdk-7u67-linux-x64.rpm
配置环境变量
vi ~/.bash_profile

#JAVA

export JAVA_HOME=/usr/java/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

source ~/.bash_profile
7、安装mysql
官网推荐 5.1、5.5、5.6版本
安装:yum install mysql-server
修改权限:
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
flush privileges;
8、下载第三方依赖包
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb –y
 
三、安装CM 
1、安装CM Agent和Server
    在agent和server主机上创建目录
    mkdir /opt/cloudera-manager
    将安装包解压到指定目录
    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2、创建用户 cloudera-scm
在所有节点上执行
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3、配置CM Agent
修改配置文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中的server_host和server_port。server_port默认为7182。
4、配置CM Server数据库
拷贝mysql驱动
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar
执行mysql命令
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
配置库
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm
其中node1为server主机名
5、创建parcel目录
Server节点
  mkdir -p /opt/cloudera/parcel-repo
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
  mkdir -p /opt/cloudera/parcels
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
6、上传CDH本地源
上传CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
          CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
          manifest.json
文件到/opt/cloudera/parcel-repo
7、启动CM Server和Agent
 cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
运行很慢,可通过log跟踪启动过程。
./cloudera-scm-agent start
在所有agent节点上,都要启动
 
8、访问CM
地址://node1:7180
用户名、密码:admin

接下来就可以安装想要的CDH服务了。
 
CM安装服务的配置文件存放位置:
/etc/
CM安装服务的运行日志位置:     /var/log/
CM安装服务的包文件存放位置:  /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/    

本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 1 不喜欢 | 0
看完这篇文章有何感觉?已经有1人表态,100%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程