本篇教程探讨了大数据技术 HBase Manual CH2 Getting Started，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

<

 
1. Introduction
QuickStart会介绍如何安装和运行一个单节点，standalone Hbase实例
2.Quick Start-Strandalone HBase
这节介绍了single-node standalone HBase的安装。Standalone实例有所有的HBase守护运行在一个JVM。也会演示如何使用hbase shell来创建表，插入数据，执行put和scan操作，enable，disable表，关闭和启动HBase。
2.1 JDK版本选择
HBase需要JDK，可以查看需要的JDK版本： Java
2.2 Get Started With HBase
过程：下载，配置和以standalone mode启动HBase
1.选择一个Mirror并且下载
2.解压下载文件，然后cd到目录。
3.设置JAVA_HOME环境变量。可以用传统的方式设置，也可以使用conf/hbase-env.sh集中管理。编辑这个文件，去掉JAVA_HOME的注释，并且设置正确的路径。JAVA_HOME变量要被设置到包含执行文件bin/java的目录。很多最新的Linux操作系统提供一个机制比如/usr/bin/alternatives，用来切换java版本的执行文件。在这个例子中，你可以设置JAVA_HOME到包含link的目录，比如/usr。
                JAVA_HOME=/usr
4.编辑conf/hbase-site.xml，hbase的配置文件。这个时候需要指定一些本地路径。用来HBase的数据写入和Zookeeper数据写入。默认新的目录创建在/tmp下。很多服务器会在重启后会把/tmp的目录清空。所以需要把数据放在其他地方。下面的配置HBase的数据目录被配置在testuser的home目录下面。
Standalone Hbase配置例子：
<configuration>
 
<property>
   
<name>hbase.rootdir</name>
   
<value>file:///home/testuser/hbase</value>
 
</property>
 
<property>
   
<name>hbase.zookeeper.property.dataDir</name>
   
<value>/home/testuser/zookeeper</value>
 
</property>
 
<property>
   
<name>hbase.unsafe.stream.capability.enforce</name>
   
<value>false</value>
   
<description>
     
Controls whether HBase will check for stream capabilities (hflush/hsync).
 
     
Disable this if you intend to run on LocalFileSystem, denoted by a rootdir
     
with the 'file://' scheme, but be mindful of the NOTE below.
 
     
WARNING: Setting this to false blinds you to potential data loss and
   
  inconsistent system state in the event of process and/or node
failures. If
     
HBase is complaining of an inability to use hsync or hflush it's most
     
likely not a false positive.
   
</description>
 
</property>
</configuration>
 
不需要创建HBase的目录，HBase会自己创建。如果创建了目录HBase会进行合并。
如果已经存在的HDFS已经有了HBase的home，设置hbase.rootdir指向hdfs实例，比如：hdfs://namenode.example.org:8020/hbase。
1.bin/start-hbase.sh脚本是快速启动hbase的方法。如果启动正常成功启动的信息就会被输出。可以使用jps查看HMaster是否启动。在standalone Hbase守护进程都运行在一个jvm上。即 HMaster，一个HregionServer，Zookeeper守护进程。可以到//localhost:16010查看HBase Web UI。
过程：第一次使用HBase
1.连接到Hbase
使用bhase shell连接到hbase实例。
$ ./bin/hbase shell
hbase(main):001:0>
 
2.输出hbase shell帮助
在命令行上输入help回车，会显示hbase shell的帮助。
3.创建表
使用 create命令创建新表
hbase(main):001:0> create 'test', 'cf'
0 row(s) in 0.4170 seconds
 
=> Hbase::Table - test
 
4.输出表的信息
使用list命令确认已经存在的表
hbase(main):002:0> list 'test'
TABLE
test
1 row(s) in 0.0180 seconds
 
=> ["test"]
 
使用describe查看表的详细信息
hbase(main):003:0> describe 'test'
Table test is ENABLED
test
COLUMN FAMILIES DESCRIPTION
{NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE =>
'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'f
alse', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE
 => '65536'}
1 row(s)
Took 0.9998 seconds
 
5.put数据到表
使用put命令插入数据。
hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0850 seconds
 
hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0110 seconds
 
hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0100 seconds
 
这里插入了3个值，在row1中插入，列cf:a，值value1。Hbase中的列由列簇比如 cf，冒号，后缀组成。
6.扫描表的所有数据
获取hbase表的数据的方法就是scan。使用scan命令扫描表中的数据。可以过滤。
hbase(main):006:0> scan 'test'
ROW                                      COLUMN+CELL
 row1                                    column=cf:a, timestamp=1421762485768, value=value1
 row2                                    column=cf:b, timestamp=1421762491785, value=value2
 row3                                    column=cf:c, timestamp=1421762496210, value=value3
3 row(s) in 0.0230 seconds
 
7.获取一个行的数据
hbase(main):007:0> get 'test', 'row1'
COLUMN                                   CELL
 cf:a                                    timestamp=1421762485768, value=value1
1 row(s) in 0.0350 seconds
 
8.disable表
如果想要删除表或者修改表的设置，在其他情况下需要先disable表，使用disable命令。如果要重新enable使用enable命令。
hbase(main):008:0> disable 'test'
0 row(s) in 1.1820 seconds
 
hbase(main):009:0> enable 'test'
0 row(s) in 0.1770 seconds
 
9.删除表
使用drop来删除表
hbase(main):011:0> drop 'test'
0 row(s) in 0.1370 seconds
 
10.退出hbase shell
使用quit命令退出hbase shell，hbase的服务任然是运行的。
过程：关闭Hbase
1.和bin/start-hbase.sh一样，使用bin/start-hbase.sh来关闭
$ ./bin/stop-hbase.sh
stopping hbase....................
$
 
2.执行命令后，过几分钟就会被关闭，可以使用jps查看，保证HMaster和HregionServer进程被关闭。
2.3 伪分布式本地安装
已经安装了standalone版本之后，可以重现配置成伪分布式，伪分布式还是在一个host下运行，但是hbase的守护进程是独立的进程而不是在一个jvm下。默认的rootdir还是在/tmp下。也可以跳过直接存在本地文件系统下。
1.关闭已经在运行的hbase
2.配置hbase
编辑hbase-site.xml配置，首选设置hbase.cluster.distributed=true
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
然后修改hbase.rootdir从本地文件系统指向HDFS，使用hdfs:////比如hdfs的端口是8020.
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://localhost:8020/hbase</value>
</property>
不需要在hdfs创建好目录，hbase会创建。如果已经创建了目录，那么就会合并。
3.启动hbase
使用bin/start-hbase.sh命令启动hbase。如果系统配置的正确那么jos命令会输出HMaster和HRegionServer的进程。
4.检查hbase在hdfs上的目录
如果运行没有问题，hbase会在hdfs创建目录。按上面的配置会保存在/hbase下。可以使用hadoop fs命令查看。
$ ./bin/hadoop fs -ls /hbase
Found 7 items
drwxr-xr-x   - hbase users          0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x   - hbase users          0 2014-06-25 21:49 /hbase/WALs
drwxr-xr-x   - hbase users          0 2014-06-25 18:48 /hbase/corrupt
drwxr-xr-x   - hbase users          0 2014-06-25 18:58 /hbase/data
-rw-r--r--   3 hbase users         42 2014-06-25 18:41 /hbase/hbase.id
-rw-r--r--   3 hbase users          7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x   - hbase users          0 2014-06-25 21:49 /hbase/oldWALs
 
5.创建一个表并且导入数据
可以使用hbase shell创建一个表，并且导入数据，然后从表里面读取数据， shell exercises
6.启动和关闭HBase的备份。
HMaster服务控制了hbase的集群。可以启动9个HMaster备份服务，会有一个10个HMaster,包括primary。使用local-master-backup.sh来备份HMaster。对于每个备份的master，想要启动，需要分配端口。每个HMaster有2个端口(默认是16000和16010)。Offset是2，所以备份要使用16002和16012.如果启动3个服务那么会使用16002/16012,16003/16013和16005/16015。
$ ./bin/local-master-backup.sh start 2 3 5
为了kill backup master然不kill整个集群，就需要找到它的PID，然后用kill -9命令去kill。PID保存在/tmp/hbase-USER-X-master.pid。以下命令是kill offset为1的。
$ cat /tmp/hbase-testuser-1-master.pid |xargs kill -9
 
7.启动和关闭额外的RegionServers
HRegionServer管理存储文件中的数据。存储文件由HMaster管理。通常每个node运行一个HRegionServer。一个系统上运行多个HRegionServer用来测试伪分布式模式。Local-regionservers.sh命令用来运行多个Regionservers。和local-master-backup.sh运行方式类似。每个参数提供了一个端口偏移值。每个RegionServer需要2个端口默认是16020,16030。因为HBase
1.1.0 之前HMaster不使用region server使用端口，保留了10个端口16020到16029,16030到16039用来给RegionServers使用。在运行local-regionservers.sh之前需要设置环境变量HBASE_RS_BASE_PORT 和HBASE_RS_INFO_BASE_PORT，比如16200和16300，那么就可以支持99个额外的RegionServers。以下命令是启动4个额外的RegionServer，从16022/16032开始启动(在base port上增加2)。
$ .bin/local-regionservers.sh start 2 3 4 5
位了手动关闭RegionServer，使用local-regionserver.sh来关闭。
$ .bin/local-regionservers.sh stop 3
 
8.关闭HBase
使用bin/stop-hbase.sh来关闭hbase。
2.4 高级——完全分布式
实际情况下，需要一个完全的分布式配置在实际的场景下，来测试hbase。在分布式配置中，cluster包含很多个节点，每个节点可能运行hbase的一个或多个守护。包括主的和备份的Master实例，多个Zookeeper节点和多个RegionServer节点。




Node
   Name




   

Master




   

ZooKeeper




   

RegionServer




   




  




 



node-a.example.com




  

yes




  

yes




  

no




  




 


node-b.example.com




  

backup




  

yes




  

yes




  




 


node-c.example.com




  

no




  

yes




  

yes




  




 









 
过程：配置无密码SSH访问
过程：准备node-a
在node-a上会运行primary master和Zookeeper进程，没有RegionServer。根据之前的关闭node-a上的RegionServer。
1.编辑conf/regionserver，删除localhost。增加node-b和node-c的ip地址或者主机名
如果还是想要在node-a上运行RegionServer，也使用node-a的主机名。
2.配置hbase使用node-b作为backup master。
创建一个文件在conf下叫backup-masters,并且增加node-b的hostname。
3.配置Zookeeper
在真是环境下Zookeeper配置很多。Zookeeper配置可以看 zookeeper 这个配置可以让hbase在每个集群的node上，启动和管理Zookeeper实例。
在node-a编辑conf/hbase-site.xml增加以下配置：
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>node-a.example.com,node-b.example.com,node-c.example.com</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/local/zookeeper</value>
</property>
 
4.在所有的配置中，使用node-a的主机名来替换localhost。
过程：准备node-b,node-c
Node-b会运行一个backup master和Zookeeper实例
1.下载并解压hbase
2.把node-a的配置文件复制到node-b,node-c
每个集群中的node都有一样的配置信息。
过程：启动和测试集群
1.保证hbase没有在任何节点上运行。
如果忘记停止hbase，那么就会报错。使用jps检查是否还在运行主要看HMaster，HregionServer，HQuorumPeer进程。如果存在就先kill。
2.启动集群
在node-a上，运行start-hbase.sh命令。Zookeeper会先启动然后是master，然后是RegionServer最后是backup master。
3.验证
在每个node 上运行jps，查看进程是否运行。
Node-a上输出
$ jps
20355 Jps
20071 HQuorumPeer
20137 HMaster
 
Node-b上
$ jps
15930 HRegionServer
16194 Jps
15838 HQuorumPeer
16010 HMaster
 
Node-c上
$ jps
13901 Jps
13639 HQuorumPeer
13737 HRegionServer
 
Zookeeper进程名
HQourumPeer是Zookeeper的实例有HBase控制。如果使用这种方式的Zookeeper每个集群node都会有一个节点。如果Zookeeper在hbase之外的。可以使用QuorumPeer。更多的Zookeeper可以看zookeeper 
4.使用Web UI访问
在hbase 0.98之后，http端口从master端口60010，RegionServer 60030修改到了16010和16030。
如果启动正常，就可以通过Web访问Master
5.测试服务消失会发生什么
当上面3节点的集群配置完毕，还要看如果primary master或者RegionServer被kill之后会发生什么。    

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！