大数据技术 数据仓库Hive安装
沉沙 2018-10-10 来源 : 阅读 1315 评论 0

摘要:本篇教程探讨了大数据技术 数据仓库Hive安装,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 数据仓库Hive安装,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

<


Hive主要分为以下几个部分
?户接口1.包括CLI,JDBC/ODBC,WebUI元数据存储(metastore)1.默认存储在?带的数据库derby中,线上使?时?般换为MySQL驱动器(Driver)1.解释器、编译器、优化器、执?器Hadoop1.?MapReduce 进?计算,?HDFS 进?存储
 
前提部分:Hive的安装需要在Hadoop已经成功安装且成功启动的基础上进行安装。若没有安装请移步至大数据系列之Hadoop分布式集群部署。
使用包: apache-hive-2.1.1-bin.tar.gz, mysql-connector-java-5.1.27-bin.jar
 云盘,密码:seni
本文将Hive安装在Hadoop Master节点上,以下操作仅在master服务器上进行操作。
1. 切换至普通用户 su mfz
2. 将gz包上传至目录下
  /home/mfz
3.解压

tar -xzvf apache-hive-2.1.1-bin.tar.gz


 4.目录:

5.创建hive-site.xml

 

    
        hive.metastore.uris
        thrift://localhost:9083
        ThriftURIfor theremotemetastore. Usedbymetastoreclientto connectto remotemetastore.
    

    
        hive.server2.thrift.port
        10000
    

    
        javax.jdo.option.ConnectionURL
        jdbc:mysql://localhost:3306/hive_13?createDatabaseIfNotExist=true
    

    
        javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver
    

    
        javax.jdo.option.ConnectionUserName
        hadoop
    

    
        javax.jdo.option.ConnectionPassword
        hadoop
    

    
        hive.metastore.schema.verification
        false
    

    
        hive.metastore.warehouse.dir
        /user/hive/warehouse
        locationofdefault databasefor thewarehouse
    

    
        fs.defaultFS
        hdfs://master:9000
    

    
        datanucleus.autoCreateSchema
        true
    

    
        datanucleus.autoStartMechanism
        SchemaTable
    

    
        datanucleus.schema.autoCreateTables
        true
    

    
        beeline.hs2.connection.user
        mfz
    

    
        beeline.hs2.connection.password
        111111
    



   5.1由配置文件可看出,我们需要mysql的数据库hive_13,数据库用户名为hadoop,数据库密码为hadoop.
6.安装mysql 
  6.1 安装参考文章:Linux学习之CentOS(十三)--CentOS6.4下Mysql数据库的安装与配置
  6.2 建立mysql数据库、用户、权限 参考文章:使用MySQL命令行新建用户并授予权限的方法
7.启动验证Mysql是否安装配置成功 :使用hadoop用户登录  

 mysql -u hadoop -p 


 
8.配置hive环境变量:

vi /home/mfz/.bash_profile  
#Hive CONFIG
export HIVE_HOME=/home/mfz/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin

#wq .bash_profile
#生效配置
source /home/mfz/.bash_profile   
#验证是否生效
echo $HIVE_HOME

[mfz@master apache-hive-2.1.1-bin]$ echo $HIVE_HOME                                                                                  
/home/mfz/apache-hive-2.1.1-bin 

9. 将mysql的java connector复制到依赖库中

cp resources/msyql/mysql-connector-java-5.1.27-bin.jar apache-hive-2.1.1-bin/bin/


10.启动hive,命令: hive;  若出现如下几种错误请参照对应解决方案;
错误1:

  原因:Hive metastore database is not initialized
  解决方案:执行命令

schematool -dbType mysql -initSchema


 错误2:

  原因:hadoop 安全模式打开导致
  解决方案:执行命令

#关闭hadoop安全模式
hadoop dfsadmin -safemode leave


 11.启动hive.
  A.方式1: hive命令

  B.方式2(重要):
  beeline
  !connect jdbc:hive2://master:10000/default mfz 111111

  说明default是database名称,mfz是master服务器用户,111111是用户的登录密码.
  因为beeline是取代hive客户端的新客户端,它访问HS2来发起hive操作,但是别急着敲下命令,继续往下看:这里涉及一个hadoop.proxy的概念:默认HS2是以user=anonymous身份访问Hdfs的,我们称HS2是hadoop的一个代理服务。但是,我们实际上希望以mfz身份去访问hdfs,因为此前创建的hive数据目录都是属于mfz用户的,anonymous是无法访问的,那么此时就需要给hadoop配置一个proxyuser,意思是HS2代理可以支持用户以mfz身份访问hdfs,而不是anonymous用户。
为了实现这个能力,需要修改hadoop项目的core-site.xml配置来实现(记得重启namenode和datanode):
    hadoop.proxyuser.mfz.groups    *    hadoop.proxyuser.mfz.hosts    *
10.hive 使用命令.
数据定义语句DDLCreate/Drop/Alter DatabaseCreate/Drop/Truncate TableAlter Table/Partition/ColumnCreate/Drop/Alter ViewCreate/Drop/Alter IndexCreate/Drop FunctionCreate/Drop/Grant/Revoke Roles and PrivilegesShowDescribe
   

本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程