摘要:本篇教程探讨了大数据技术 Hadoop集群(伪分布模式)安装,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
本篇教程探讨了大数据技术 Hadoop集群(伪分布模式)安装,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
<
依赖项:jdk(hadoop与java版本兼容性参考链接)、ssh;
执行ssh localhost若提示:
localhost: ssh: connect to host localhost port 22: Connection refused
则需要:
a.检查是否安装了openssh,若没有则建议通过brew install openssh安装(需要先安装brew,安装brew前还需要先安装xcode,安装方法见官网,官网的方法若超时,可以先在浏览器中打开curl链接并复制到本地保存(如~/Desktop/install),然后修改安装命令为:
/usr/bin/ruby -e "$(cat ~/Desktop/install)"
),启动方式:
sudo /usr/sbin/sshd
若启动失败并提示:
Could not load host key: /etc/ssh/ssh_host_rsa_key
Could not load host key: /etc/ssh/ssh_host_dsa_key
Could not load host key: /etc/ssh/ssh_host_ecdsa_key
Could not load host key: /etc/ssh/ssh_host_ed25519_key
则,执行以下操作后重新启动:
sudo cp ~/.ssh/id_rsa /etc/ssh/ssh_host_rsa
sudo cp ~/.ssh/id_rsa.pub /etc/ssh/ssh_host_rsa.pub
启动后通过ps -ef | grep ssh检查ssh服务是否存在
b.检查是否存在以下文件,且authorized_keys 中包含id_rsa.pub中的内容
~/.ssh/id_rsa.pub
~/.ssh/id_rsa
~/.ssh/authorized_keys
若没有id_rsa.*文件,则执行以下操作:
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
修改/etc/hosts文件(可选)
添加本机ip到localhost的映射(sudo vim /etc/hosts),如下所示:
xx.xx.xx.xx localhost
这一步是为了可以使用形如:hdfs://xx.xx.xx.xx:9000/file/path的格式访问hdfs,否则只能使用localhost。
下载hadoop-2.7.6安装包,解压到~/tools/hadoop-2.7.6;
修改配置
a.etc/hadoop/core-site.xml中添加如下配置:
xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
b.etc/hadoop/hdfs-site.xml中添加如下配置:
xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </configuration>
以上为hdfs相关配置,若要使用yarn,还需进行以下配置
c.拷贝etc/hadoop/mapred-site.xml.template到etc/hadoop/mapred-site.xml并添加如下配置:
xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
d.etc/hadoop/yarn-site.xml中添加如下配置:
xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
注:默认存储路径为/tmp/hadoop-<username>/,可以通过配置 “dfs.namenode.name.dir”、 “dfs.datanode.data.dir” 显式指定,参考文档;
启动服务
a.格式化namenode
./bin/hdfs namenode -format
b.启动HDFS
./sbin/start-dfs.sh
c.若要启用历史任务服务,执行以下命令:
./sbin/mr-jobhistory-daemon.sh start historyserver
d.若要使用yarn,执行以下命令
./sbin/start-yarn.sh
启动后通过jps命令查看启动的服务,应包含:DataNode、NameNode、SecondaryNameNode(若启动了yarn,还包括:NodeManager、ResourceManager;若启动了历史服务,还包括:JobHistoryServer);
通过以下网址查看服务状态
a.历史任务://localhost:19888/
b.集群状态://localhost:8088/
c.NameNode状态://localhost:50070/
测试
通过以下命令测试hdfs是否可用:
./bin/hadoop fs -ls /
./bin/hadoop fs -ls hdfs://localhost:9000/
./bin/hadoop fs -ls hdfs://xx.xx.xxx.xxx:9000/
./bin/hdfs dfs -ls /
./bin/hdfs dfs -ls hdfs://localhost:9000/
./bin/hdfs dfs -ls hdfs://xx.xx.xxx.xxx:9000/
若服务可用,需要创建以下目录:
hdfs://localhost:9000/user/<username>
停止服务
可将以下命令写入stop.sh批量执行:
./sbin/stop-dfs.sh
./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver
注:若配置了yarn(4.c),则官网中下面的例子是无法成功执行的;若只配置了hdfs(4.a,4.b),是没有问题的:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output 'dfs[a-z.]+'
本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号