本篇教程探讨了大数据技术 hadoop+hive+spark搭建，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

<

1.准备三台虚拟机
2.hadoop+hive+spark＋java软件包
     
一、修改主机名,hosts文件
　　主机名修改
　　　　　hostnamectl set-hostname ***
　　hosts文件修改
　　　　　vi /etc/hosts　　　　写入以下内容
　　　　　master 192.168.0.110
　　　　　slaver1 192.168.0.111
　　　　　slaver2 192.168.0.112
　　SSH免登陆
　　　　　运行命令 ssh-keygen -t rsa生成秘钥
　　　　　　
　　　　
　　　　　master节点运行命令 cat id_rsa.pub > authorized_keys
　　　　　　　　　　　　　　　ssh slaver1 cat ~/.ssh/id_rsa.pub >>authorized_keys
　　　　　　　　　　　　　　　ssh slaver2 cat ~/.ssh/id_rsa.pub >>authorized_keys
　　　　　　　　　　　　　　　scp authorized_key root@slaver1:~/.ssh/
　　　　　　　　　　　　　　　scp authorized_key root@slaver2:~/.ssh/
　　　　　vi /etc/ssh/sshd删掉以下注释
　　　　　　
　　　　　　　　
　　　　执行完如上操作即可免密登录
　　　　　　
 
二、java环境配置
　　上传java软件包到各节点并解压缩java软件包到/usr/local/目录下重命名为
　　　　
　　配置java环境变量
　　　编辑/etc/profile文件，并追加
　　　　　　export JAVA_HOME=/usr/local/jdk1.8.0
　　　　　　export PATH=$JAVA_HOME/bin:$PATH
　　　运行source /etc/profile命令　
 　测试java环境变量
　　　　运行java -version命令
　　　　
　　　　成功安装并配置java
 三、Hadoop环境搭建
　　上传hadoop软件包并解压缩hadoop软件包到/usr/local/目录下重命名hadoop
  　　　　
　　编辑/etc/profile文件，并追加
　　　　　　　export HADOOP_HOME=/usr/local/hadoop
　　　　　　　export PATH=$HADOOP_HOME/bin:$PATH
　　　　运行source /etc/profile命令
　　修改配置文件hadoop目录下etc/hadoop/hadoop-env.sh如下
　　　　
 
　　修改配置文件hadoop目录下etc/hadoop/core-site.xml如下
　　　　　　
 
　　修改配置文件hadoop目录下etc/hadoop/hdfs-site.xml如下
 　　　　　　
 
　　修改配置文件hadoop目录下etc/hadoop/yarn-site.xml如下
　　　　　　
 
　　修改配置文件hadoop目录下etc/hadoop/mapred-site.xml如下
 　　　　　　
 
　　编辑hadoop目录下etc/hadoop/master
　　　　　　
 
　　编辑hadoop目录下etc/hadoop/slaves
　　　　
　　格式化HDFS
　　　　　　master节点运行命令hdfs namenode -format
　　master节点运行hadoop目录下sbin/start.all.sh启动所有程序
　　　　　　
浏览器下输入192.168.0.110:50070即可打开web界面hadoop 
　　　
   

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！