-
大数据云计算
站-
热门城市 全国站>
-
其他省市
-
-
400-636-0069
沉沙
2019-02-20
来源 ：
阅读 1763
评论 0
摘要：本篇文章探讨了大数据技术之Spark Streaming VS Flink，希望阅读本篇文章以后大家有所收获，帮助大家对相关内容的理解更加深入。
本篇文章探讨了大数据技术之Spark Streaming VS Flink，希望阅读本篇文章以后大家有所收获，帮助大家对相关内容的理解更加深入。
企业随着业务不断发展难免遇到实时处理的需求，那么面对实时处理需求业务应该如何选择框架呢？本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比两种主流的框架：Spark Streaming与Flink，希望对企业端用户选型有所启发。本文篇幅较长，建议先收藏～
框架介绍
Spark Streaming 运行时的角色(standalone 模式)主要有：
Master:主要负责整体集群资源的管理和应用程序调度；
Worker:负责单个节点的资源管理，driver 和 executor 的启动等；
Driver:用户入口程序执行的地方，即 SparkContext 执行的地方，主要是 DAG 生成、stage 划分、task 生成及调度；
Executor:负责执行 task，反馈执行状态和执行结果。
Flink 运行时的角色(standalone 模式)主要有:
Jobmanager: 协调分布式执行，他们调度任务、协调 checkpoints、协调故障恢复等。至少有一个 JobManager。高可用情况下可以启动多个 JobManager，其中一个选举为 leader，其余为 standby；
Taskmanager: 负责执行具体的 tasks、缓存、交换数据流，至少有一个 TaskManager；
Slot: 每个 task slot 代表 TaskManager 的一个固定部分资源，Slot 的个数代表着 taskmanager 可并行执行的 task 数。
生态
运行模型
Spark Streaming 是微批处理，运行的时候需要指定批处理的时间，每次运行 job 时处理一个批次的数据，流程如图 3 所示：
Flink 是基于事件驱动的，事件可以理解为消息。事件驱动的应用程序是一种状态应用程序，它会从一个或者多个流中注入事件，通过触发计算更新状态，或外部动作对注入的事件作出反应。
编程模型对比
编程模型对比，主要是对比 flink 和 Spark Streaming 两者在代码编写上的区别。
本文由职坐标整理发布，学习更多的相关知识，请关注职坐标IT知识库！
喜欢 | 2
不喜欢 | 1
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了，明天再试试吧！
我们会在第一时间安排职业规划师联系您！
您也可以联系我们的职业规划师咨询：
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
沪公网安备 31011502005948号
索取资料
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈
