摘要:本篇教程探讨了大数据技术之Determine Hadoop Memory Configuration Settings,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。
本篇教程探讨了大数据技术之Determine Hadoop Memory Configuration Settings,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。
本文中涉及到的脚本来自hortonworks,通过它可以计算出针对yarn和MapReduce的内存设置。
脚本名称:yarn-utils.py
[hadoop@hdp01 ~]$ wget //public-repo-1.hortonworks.com/HDP/tools/2.3.4.0/hdp_manual_install_rpm_helper_files-2.3.4.0.3485.tar.gz[hadoop@hdp01 ~]$ tar -xzf hdp_manual_install_rpm_helper_files-2.3.4.0.3485.tar.gz[hadoop@hdp01 ~]$ mv hdp_manual_install_rpm_helper_files-2.3.4.0.3485 hdp[hadoop@hdp01 ~]$ cd hdp/scripts[hadoop@hdp01 scripts]$ python yarn-utils.py -c 4 -m 16 -d 2 -k True Using cores=4 memory=16GB disks=2 hbase=True Profile: cores=4 memory=12288MB reserved=4GB usableMem=12GB disks=2 Num Container=4 Container Ram=3072MB Used Ram=12GB Unused Ram=4GB yarn.scheduler.minimum-allocation-mb=3072 yarn.scheduler.maximum-allocation-mb=12288 yarn.nodemanager.resource.memory-mb=12288 mapreduce.map.memory.mb=3072 mapreduce.map.java.opts=-Xmx2457m mapreduce.reduce.memory.mb=3072 mapreduce.reduce.java.opts=-Xmx2457m yarn.app.mapreduce.am.resource.mb=3072 yarn.app.mapreduce.am.command-opts=-Xmx2457m mapreduce.task.io.sort.mb=1228
本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号