摘要:本篇教程探讨了大数据技术之Hadoop HDFS Federation 配置,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。
本篇教程探讨了大数据技术之Hadoop HDFS Federation 配置,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。
承接 在上文档hadoop 分布式的文档进行部署
编辑core-site.xml 文件: master.hadop.com 的core-site 文件配置 vim core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://master.hadoop.com:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/yangyang/hadoop/data</value></property> </configuration>slave1.hadoop.com 的core-site.xml 文件配置<configuration><property> <name>fs.defaultFS</name> <value>hdfs://slave1.hadoop.com:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/yangyang/hadoop/data</value></property></configuration>slave2.hadoop.com 的core-site.xml 文件配置:<configuration><property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/yangyang/hadoop/data</value></property></configuration>
编辑hdfs-site.xml 文件:
<configuration><property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <property> <name>dfs.namenode.rpc-address.ns1</name> <value>master.hadoop.com:8020</value> </property> <property> <name>dfs.namenode.http-address.ns1</name> <value>master.hadoop.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2</name> <value>slave1.hadoop.com:8020</value> </property> <property> <name>dfs.namenode.http-address.ns2</name> <value>slave1.hadoop.com:50070</value> </property> </configuration>
格式化HDFS 节点处理 master.hadoop.comcd /home/hadoop/yangyang/hadoop/bin/hdfs namenode –format –clusterID hdfs-cluster
slave1.hadoop.comcd /home/hadoop/yangyang/hadoop/bin/hdfs namenode –format –clusterID hdfs-cluster
启动namenode.hadoop.com与slave1.hadoop.com节点上的namenode master.hadoop.com./hadoop-daemon.sh start namenode
slave1.hadoop.com./hadoop-daemon.sh start namenode
启动所有节点的datanonde./hadoop-daemon.sh start datanode master.hadoop.com
###四: HDFS Fedeation 的测试
在maser.hadoop.com 节点上去HDFS创建一个文件
在slave1.hadoop.com 去hdfs 上创建文件
本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号