大数据技术之HBASE 0.98版本安装,二步曲:安装HADOOP到集群
沉沙 2019-04-29 来源 : 阅读 207 评论 0

摘要:本篇文章探讨了大数据技术之HBASE 0.98版本安装,二步曲:安装HADOOP到集群,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

本篇文章探讨了大数据技术之HBASE 0.98版本安装,二步曲:安装HADOOP到集群,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

大数据技术之HBASE 0.98版本安装,二步曲:安装HADOOP到集群

1、准备4台服务器
一台作为namenode
192.168.137.101 hd1
三台作为datanode
192.168.137.102 hd2
192.168.137.103 hd3
192.168.137.104 hd4
2、拉平所有服务器的时间
使用ntpdate

3、配置多机互信

4、解压hadoop
tar zxvf hadoop-2.2.0.tar.gz
5、移动hadoop到相应位置
mv hadoop-2.2.0 /home/hadoop/hadoop
6、在namenode建立相应目录
应该是755权限
mkdir /home/hadoop/hdfs
mkdir /home/hadoop/namenode
mkdir /home/hadoop/tmp
7、在datanode建立相应的目录
mkdir /home/hadoop/hdfs
mkdir /home/hadoop/tmp
8、配置hadoop
配置文件有7个:
/home/hadoop/hadoop/etc/hadoop/hadoop-env.sh
/home/hadoop/hadoop/etc/hadoop/yarn-env.sh
/home/hadoop/hadoop/etc/hadoop/slaves
/home/hadoop/hadoop/etc/hadoop/core-site.xml
/home/hadoop/hadoop/etc/hadoop/hdfs-site.xml
/home/hadoop/hadoop/etc/hadoop/mapred-site.xml
/home/hadoop/hadoop/etc/hadoop/yarn-site.xml
# /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/java
export HADOOP_HOME=/home/hadoop/hadoop
# /home/hadoop/hadoop/etc/hadoop/yarn-env.sh
export JAVA_HOME=/java
# /home/hadoop/hadoop/etc/hadoop/slaves
hd2
hd3
hd4
# /home/hadoop/hadoop/etc/hadoop/core-site.xml

   fs.defaultFS
   hdfs://hd1:9000


   io.file.buffer.size
   131072


   hadoop.tmp.dir
   file:/home/hadoop/tmp


   hadoop.proxyuser.hduser.hosts
   *


   hadoop.proxyuser.hduser.groups
   *

# /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml

   
       dfs.namenode.http-address
       hd1:50070
   

   
       dfs.namenode.secondary.http-address
       hd1:9001
   

   
       dfs.namenode.name.dir
       file:/data/namenode
   

   
       dfs.datanode.data.dir
       file:/data/hdfs
   

   
       dfs.replication
       3
   

   
       dfs.webhdfs.enabled
       true
   

   
       dfs.support.append
       true
   

   
       dfs.support.broken.append
       true
   


# /home/hadoop/hadoop/etc/hadoop/mapred-site.xml

   mapreduce.framework.name
   yarn


   mapreduce.jobhistory.address
   hd1:10020


   mapreduce.jobhistory.webapp.address
   hd1:19888

# /home/hadoop/hadoop/etc/hadoop/yarn-site.xml

   yarn.nodemanager.aux-services
   mapreduce_shuffle


   yarn.nodemanager.aux-services.mapreduce.shuffle.class
   org.apache.hadoop.mapred.ShuffleHandler


   yarn.resourcemanager.address
   hd1:8032


   yarn.resourcemanager.scheduler.address
   hd1:8030


   yarn.resourcemanager.resource-tracker.address
   hd1:8031


   yarn.resourcemanager.admin.address
   hd1:8033


   yarn.resourcemanager.webapp.address
   hd1:8088

8、拷贝hadoop到所有datanode
scp -r /home/hadoop/hadoop/ hd2:/home/hadoop/
scp -r /home/hadoop/hadoop/ hd3:/home/hadoop/
scp -r /home/hadoop/hadoop/ hd4:/home/hadoop/
9、格式化namenode
hadoop namenode -format
10、启动dfs
start-dfs.sh    

      本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    ICP许可  沪B2-20190160

站长统计