摘要:本篇教程探讨了大数据技术全面解读 SparkSQL(二)结合hive,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
本篇教程探讨了大数据技术全面解读 SparkSQL(二)结合hive,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
<
一、SparkSQL结合hive
1.首先通过官网查看与hive匹配的版本
这里可以看到是1.2.1
2.与hive结合
spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过sparksql与hive结合实现数据分析将成为一种最佳实践。
3.hive安装与配置
略,之前已经安装
4.spark配置
将hive配置文件拷贝给spark:
cp $HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf/
// 这里记得配置一下SPARK_HOME等!
将MySQL驱动拷贝给spark:
cp $HIVE_HOME/lib/mysql-connector-java-5.1.42.jar $SPARK_HOME/lib/
// hive不是分布式的,只有一台机器
启动发现频繁报错,找到解决办法:https://www.cns.com/bianqi/p/7244036.html
2. 在$SPARK_HOME/conf/目录中,修改spark-env.sh,添加
export HIVE_HOME=/usr/local/apache-hive-0.13.1-bin
注:切记SPARK_CLASSPATH这一行必须的配置:(否则报错)
export SPARK_CLASSPATH=$HIVE_HOME/lib/mysql-connector-java-5.1.15-bin.jar:$SPARK_CLASSPATH
也就是在spark-env.sh中添加如下配置:
export HIVE_HOME=/home/hadoop/apps/hive-1.2.1
export SPARK_CLASSPATH=$HIVE_HOME/lib/mysql-connector-java-5.1.42.jar:$SPARK_CLASSPATH
5.启动
可以以spark-shell的方式启动,然后通过sqlContext.sql等方式执行
也可以直接启动spark-sql,更简单直接
本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号