大数据技术 Azkaban简介
沉沙 2018-10-11 来源 : 阅读 1258 评论 0

摘要:本篇教程探讨了大数据技术 Azkaban简介,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 Azkaban简介,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

<

Azkaban是什么
      Azkaban是由Linkedin开源的做批量工作流任务的调度器。在一个工作流内按照特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的相互依赖关系,并且提供了一个易于使用的web用户界面维护与跟踪你的工作流。
 
Azkaban的功能特点:
      web用户界面                                      
      方便上传工作流
      方便设置任务之间的关系
      工作流调度
      认证/授权
      能够杀死并重新启动工作流
      模块化与可插拔的插件机制
      项目工作区
     工作流与任务的日志记录和审计
 
Azkaban的核心架构体系
                         
 
       1)MySQL实例--Azkaban使用MySQL来存储项目和执行(暂只支持MySQL数据库,未来可能会支持更多的数据库)
      2)Azkaban Web服务器--Azkaban使用Jetty作为Web服务器,用作控制器和提供Web界面(为什么不同Tomcat?由于Tomcat比较重量级,需要单独部署,这里没有必要)
      3)Azkaban执行服务器--Azkaban执行服务器执行提交工作流
 
 
Azkaban的三种运行模式
        1)solo server mode(这种模式不会用到,了解即可)
           H2(存储用H2数据库)
           web server和executor server运行在一个进程里
        2)two server mode (重点掌握)
               MySQL(主从结构,为了避免单点故障)
           web server和executor server运行在不同的进程
       3)multiple executor mode
            MySQL(主从结构)
            web server和executor server运行在不同的进程
            executor server有多个(避免一个executor server负载过多)
     

本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程