-
大数据云计算
站-
热门城市 全国站>
-
其他省市
-
-
15692118659
沉沙
2018-10-10
来源 ：
阅读 1812
评论 0
摘要：本篇教程探讨了大数据技术全面解读 hive详解（一）入门与安装，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。
本篇教程探讨了大数据技术全面解读 hive详解（一）入门与安装，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。
<
一、基本概念
1.什么是hive
The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive.
简洁的中文解释就是：
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
数据仓库的概念可以先查看百度百科的介绍：
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
数据库与数据仓库的区别对比，参考知乎相关问题 ：https://www.zhihu.com/question/20623931
更加详细的数仓的介绍与深入，将另开随笔介绍！
2.为什么用hive
直接使用hadoop所面临的问题
人员学习成本太高
项目周期要求太短
MapReduce实现复杂查询逻辑开发难度太大
为什么要使用Hive
操作接口采用类SQL语法，提供快速开发的能力。
避免了去写MapReduce，减少开发人员的学习成本。
扩展功能很方便。
3.hive架构
基本组件：
用户接口：包括 CLI、JDBC/ODBC、WebGUI。
元数据存储：通常是存储在关系数据库如 mysql , derby中。
解释器、编译器、优化器、执行器。
组件功能：
用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。
元数据存储：Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。
更多详细的hive体系架构深入介绍，参考：//..net/zhoudaxia/article/details/8855937
4.hive与Hadoop的关系
Hive利用HDFS存储数据，利用MapReduce查询数据
与传统数据库对比：
5.hive数据存储
1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）
2、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。
3、Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。
² db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
² table：在hdfs中表现所属db目录下一个文件夹
² external table：外部表, 与table类似，不过其数据存放位置可以在任意指定路径
普通表: 删除表后, hdfs上的文件都删了
External外部表删除后, hdfs上的文件没有删除, 只是把文件删除了
² partition：在hdfs中表现为table目录下的子目录
² bucket：桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中
二、hive安装与配置
###hive可视化工具推荐：//lxw1234.com/archives/2016/09/723.htm
1.准备安装包——推荐使用sftp上传，更快速！
2.解压
与之前保持一致，解压至apps，当然到usr/local等自定义的目录是完全没毛病的
[hadoop@mini1 ~]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps/
顺便将解压出来的文件夹的过长的名字稍作更改：
[hadoop@mini1 apps]$ mv apache-hive-1.2.1-bin/ hive-1.2.1
3.安装mysql
由于hive是默认将元数据保存在本地内嵌的 Derby 数据库中，但是这种做法缺点也很明显，Derby不支持多会话连接，因此本文将选择mysql作为元数据存储。
mysql的安装参考之前linux的随笔，注意开启用户远程登录！
4.配置元数据库信息
这里暂时不修改默认的了，在conf目录下使用一个新的配置文件hive-site.xml：
vi hive-site.xml
以下配置项也是简单易懂的：
5.添加mysql驱动包
在lib目录下添加驱动包
6.替换JLine的jar包
解决Jline包版本不一致的问题
[hadoop@mini1 lib]$ rm ~/apps/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
[hadoop@mini1 lib]$ cp jline-2.12.jar ~/apps/hadoop-2.6.4/share/hadoop/yarn/lib/
7.配置环境变量
[hadoop@mini1 hive-1.2.1]$ sudo vim /etc/profile
export HIVE_HOME=/home/hadoop/apps/hive-1.2.1
export PATH=$PATH:$HIVE_HOME/bin
[hadoop@mini1 hive-1.2.1]$ source /etc/profile
8.初体验
启动：
[hadoop@mini1 hive-1.2.1]$ bin/hive
// 配置环境变量后可以直接启动
建库：
hive> create database shizhan01;
OK
Time taken: 0.943 seconds
hive>
建表：
hive> use shizhan01;
OK
Time taken: 0.049 seconds
hive> create table t_user(id int,name string);
OK
Time taken: 0.395 seconds
hive>
// hive中使用完全的java数据类型即可！
查看元数据：
删除t_user；重新建表指定数据格式：
hive> create table t_user01(id int,name string)
> row format delimited
> fields terminated by ','
> ;
OK
Time taken: 0.074 seconds
hive>
上传测试数据：
[hadoop@mini1 ~]$ vim user.dat
[hadoop@mini1 ~]$ ls
apache-hive-1.2.1-bin.tar.gz apps hadoop-2.6.4.tar.gz hdpdata user.dat
[hadoop@mini1 ~]$ hadoop fs -put user.dat /user/hive/warehouse/shizhan01.db/t_user
正常查询：
hive> select * from t_user01;
OK
1 Join
2 Mary
3 Bob
通过mr任务：
hive> select count(*) from t_user01;
Query ID = hadoop_20180224172255_b984036d-5bdd-44fc-bfb5-380b9a433034
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=
In order to set a constant number of reducers:
set mapreduce.job.reduces=
Starting Job = job_1519458521203_0001, Tracking URL = //mini1:8088/proxy/application_1519458521203_0001/
Kill Command = /home/hadoop/apps/hadoop-2.6.4/bin/hadoop job -kill job_1519458521203_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2018-02-24 17:23:09,002 Stage-1 map = 0%, reduce = 0%
2018-02-24 17:23:15,635 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 1.29 sec
2018-02-24 17:23:25,213 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 2.63 sec
MapReduce Total cumulative CPU time: 2 seconds 630 msec
Ended Job = job_1519458521203_0001
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1 Reduce: 1 Cumulative CPU: 2.63 sec HDFS Read: 6416 HDFS Write: 2 SUCCESS
Total MapReduce CPU Time Spent: 2 seconds 630 msec
OK
4
Time taken: 31.956 seconds, Fetched: 1 row(s)
hive>
三、启动为thrift服务
1.启动
启动为前台：bin/hiveserver2
启动为后台：nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &
2.连接
使用支持thrift服务的进行连接，这里采用hive默认提供的beeline（另外复制一个SSH隧道）
[hadoop@mini1 ~]$ beeline
Beeline version 1.2.1 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000
Connecting to jdbc:hive2://localhost:10000
Enter username for jdbc:hive2://localhost:10000: hadoop
Enter password for jdbc:hive2://localhost:10000:
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000>
// 默认是使用hadoop用户无密码登录即可，或者进行配置（当然配置的意义不大）
或者使用启动即连接：
bin/beeline -u jdbc:hive2://localhost:10000 -n hadoop
当然，更加推荐的方式是自己在有环境变量的bin下写个启动脚本，以后就可以使用startbeeline.sh等自定义脚本一键启动了！
补充：
也可以通过hive -e 'sql'的形式
[hadoop@mini1 ~]$ hive -e 'sql'
这样的好处是执行完了回到命令行，也就是可以通过shell脚本来执行一连串的sql了，而不用一个一个在命令行敲了！
或者执行某个sql文件
[hadoop@mini1 ~]$ hive -f '1.sql'
本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了，明天再试试吧！
我们会在第一时间安排职业规划师联系您！
您也可以联系我们的职业规划师咨询：
版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
沪公网安备 31011502005948号
资料领取
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈
