大数据技术 HBase完全分布式集群搭建
沉沙 2018-09-25 来源 : 阅读 1431 评论 0

摘要:本篇教程探讨了大数据技术 HBase完全分布式集群搭建,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 HBase完全分布式集群搭建,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

<

hbase和hadoop一样也分为单机版,伪分布式版和完全分布式集群版,此文介绍如何搭建完全分布式集群环境搭建。hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop的完全集群环境。本文中采用独立的zookeeper,不使用hbase自带的zookeeper。

一.环境准备

  *HBase软件包hbase-1.2.0-cdh5.12.0.tar.gz

  *完成hadoop集群环境搭建

二.安装HBase

1.首先在hdp-node-01安装配置好之后,再复制分发到其他从节点

#解压
$ tar -xzvf hbase-1.2.0-cdh5.12.0.tar.gz -C /opt/modules/cdh5.12.0

 

2.配置环境变量vim /etc/profile

#HBASE_HOME

export HBASE_HOME=/opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0

export PATH=$HBASE_HOME/bin:$PATH

 

 

 

 

三.配置文件

  hbase 相关的配置主要包括hbase-env.sh、hbase-site.xml、regionservers三个文件,都在$HBASE_HOME/conf目录下面,同时拷贝hadoop的配置文件core-site.xml,hdfs-site.xml到该目录下,因为hadoop使用了HA集群模式,hbase访问hdfs时需要知道访问地址。

1.配置hbase-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_71

#关联hadoop
export HBASE_CLASSPATH=/opt/modules/cdh5.12.0/hadoop-2.6.0-cdh5.12.0/conf
export HBASE_HOME=/opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0
export HADOOP_HOME=/opt/modules/cdh5.12.0/hadoop-2.6.0-cdh5.12.0

#Hbase日志目录,需创建
export HBASE_LOG_DIR=/opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0/logs

#使用单独的zookeeper,禁用hbase自带的zookeeper
export HBASE_MANAGES_ZK=false

 

 

 

 

 

 

 

 

2.配置 hbase-site.xml

<configuration>
  <!—hbase RegionServer共享目录,设置在hdfs上-->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://ns1/user/root/hbase</value>
  </property>
  <!—开启分布式集群模式-->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <!—hbase主节点-->
  <property>
    <name>hbase.master</name>
    <value>hdp-node-01</value>
  </property>
  <!-- zookeeper集群URL配置-->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hdp-node-01,hdp-node-02,hdp-node-03,hdp-node-04,hdp-node-05</value>
  </property>
  <!--本地文件系统tmp目录-->
  <property>
    <name>hbase.tmp.dir</name>
    <value>/opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0/tmp</value>
  </property>
  <!--hbase web port-->
  <property>
    <name>hbase.master.info.port</name>
    <value>60010</value>
  </property>
  <!--使用独立的zookeeper data snapshot存放目录-->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/opt/modules/cdh5.12.0/zookeeper-3.4.5-cdh5.12.0/data</value>
  </property>
  <!—zookeeper port-->
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
</configuration>


 
3.修改regionservers

vim /opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0/conf/regionservers

hdp-node-02

hdp-node-03

hdp-node-04

hdp-node-05

 

 

 

 

 

 

 4.复制分发hbase到其他4个从节点中
$ scp -r hbase-1.2.0-cdh5.12.0/ root@hdp-node-02:/opt/modules/cdh5.12.0/

 

四.启动HBase

由于是集群在master节点hdp-node-01上启动hbase即可
$ bin/start-hbase.sh

     

本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved