本篇教程探讨了大数据技术 yarn架构学习，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

<

 
yarn由两个部分的守护程序构成：资源管理、调度/监控。
这样就要求有个全局资源管理器(resoureManager-rm)和与应用一一对应的管理程序(applicationMaster-am).
一个应用要么是一个作业，要么就是由作业构成的dag(多个job--多个job）
Yarn的数据计算框架由rm和节点管理器（nodemanager -nm)构成.rm负责管理所有应用的资源。nm其实是容器的代理，负责监控资源使用（cpu,内存，磁盘，网络），并向rm/调度器报告有关信息。
am从rm获取资源，并和nm协调工作，执行和监控任务。
 
注： dag-directed acycli graph --有向无环图
参阅：

https://en.wikipedia.org/wiki/Directed_acyclic_graph
//baike.baidu.com/item/%E6%9C%89%E5%90%91%E6%97%A0%E7%8E%AF%E5%9B%BE

dag图相对比较简单，适合yarn的作业结构，如果太复杂，实现起来有点困难，而且目前暂时没有那个必要。一个有向有环图更可能用于流程处理。
图1-yarn框架

注：在上图中，有两个客户，分别提交了一个作业。yarn集群的组件分布在4个节点上，其中一个运行rm,另外三个运行nm。am则运行在两个数据节点上，分别用于关于关于两个客户的需求。

紫色客户的应用主程序运行在右上节点，但它的工作实际中右边中间一个节点执行。
粉褐客户的应用主程序运行在右中节点，实际工作分布在右上和右下两个节点上。
粉褐客户的资源需求大体是紫色的两倍。
注意：一个节点上可以有多个容器

nm必须和dn运行在一起，可以方便地收集dn的资源信息。
 
资源管理器
资源管理器有两个主要的部分：作业调度器和应用主程序.
作业调度器
作业调度器负责为应用分配资源（注，如果是这么说，也许理解为资源调度器，就好比生活中火车调度站-负责为每个商业合同分配车皮）。
调度器不监控也不追踪应用的状态。
调度器不保证任务的成功，不管任务是因为由于应用还是硬件的故障。
调度器根据应用的资源需求，执行调度功能；它仅仅工作于资源容器上，后者包含诸如内存，cpu，磁盘和网络等等。
调度器具有一个可拔插的策略--根据不同队列，应用等，把集群资源进行划分。当前版本的调度器具有CapacityScheduler 和 FairScheduler  这两个策略。
注：

CapacityScheduler--容量调度器，大体可以理解为根据要求来分配资源。了解这个很重要，因为不是所有客户的需求都是一样的，需要分轻重缓急。
FairScheduler--公平到调度器，大体可以理解为所有的应用的资源需求都是一致的。

应用主程序
应用主程序负责接收作业提交，并找到第一个可用的容器，如果容器有故障，能重启容器。此外am还负责从调度器中获得资源，并追踪和监测任务。
 
资源预订（resource reservation）
yarn支持预订系统(ReservationSystem),用户可以提前预定资源，这样保留出来的资源可以用于执行一些重要的作业。
预订系统不停地追踪资源，处理预订，并不时提醒调度器，让后者确保所有的预订能够得到满足。
注：yarn的预订，不失为一个有趣有用的功能。很多系统中，这些功能的实现，主要靠认为操作来实现。
     

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！