摘要:本篇教程探讨了大数据技术 Azkaban简介,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
本篇教程探讨了大数据技术 Azkaban简介,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
<
Azkaban是什么
Azkaban是由Linkedin开源的做批量工作流任务的调度器。在一个工作流内按照特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的相互依赖关系,并且提供了一个易于使用的web用户界面维护与跟踪你的工作流。
Azkaban的功能特点:
web用户界面
方便上传工作流
方便设置任务之间的关系
工作流调度
认证/授权
能够杀死并重新启动工作流
模块化与可插拔的插件机制
项目工作区
工作流与任务的日志记录和审计
Azkaban的核心架构体系
1)MySQL实例--Azkaban使用MySQL来存储项目和执行(暂只支持MySQL数据库,未来可能会支持更多的数据库)
2)Azkaban Web服务器--Azkaban使用Jetty作为Web服务器,用作控制器和提供Web界面(为什么不同Tomcat?由于Tomcat比较重量级,需要单独部署,这里没有必要)
3)Azkaban执行服务器--Azkaban执行服务器执行提交工作流
Azkaban的三种运行模式
1)solo server mode(这种模式不会用到,了解即可)
H2(存储用H2数据库)
web server和executor server运行在一个进程里
2)two server mode (重点掌握)
MySQL(主从结构,为了避免单点故障)
web server和executor server运行在不同的进程
3)multiple executor mode
MySQL(主从结构)
web server和executor server运行在不同的进程
executor server有多个(避免一个executor server负载过多)
本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号