沉沙
2018-10-11
来源 :
阅读 1830
评论 0
摘要:本篇教程探讨了大数据技术 Azkaban简介,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
本篇教程探讨了大数据技术 Azkaban简介,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
<
Azkaban是什么
Azkaban是由Linkedin开源的做批量工作流任务的调度器。在一个工作流内按照特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的相互依赖关系,并且提供了一个易于使用的web用户界面维护与跟踪你的工作流。
Azkaban的功能特点:
web用户界面
方便上传工作流
方便设置任务之间的关系
工作流调度
认证/授权
能够杀死并重新启动工作流
模块化与可插拔的插件机制
项目工作区
工作流与任务的日志记录和审计
Azkaban的核心架构体系
1)MySQL实例--Azkaban使用MySQL来存储项目和执行(暂只支持MySQL数据库,未来可能会支持更多的数据库)
2)Azkaban Web服务器--Azkaban使用Jetty作为Web服务器,用作控制器和提供Web界面(为什么不同Tomcat?由于Tomcat比较重量级,需要单独部署,这里没有必要)
3)Azkaban执行服务器--Azkaban执行服务器执行提交工作流
Azkaban的三种运行模式
1)solo server mode(这种模式不会用到,了解即可)
H2(存储用H2数据库)
web server和executor server运行在一个进程里
2)two server mode (重点掌握)
MySQL(主从结构,为了避免单点故障)
web server和executor server运行在不同的进程
3)multiple executor mode
MySQL(主从结构)
web server和executor server运行在不同的进程
executor server有多个(避免一个executor server负载过多)
本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了

请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号