失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > 流式计算的代表:Storm Flink Spark Streaming

流式计算的代表:Storm Flink Spark Streaming

时间:2021-09-27 00:15:47

相关推荐

流式计算的代表:Storm Flink Spark Streaming

learn from 从0开始学大数据(极客时间)

文章目录

1. Storm2. Spark Streaming3. Flink对存储在磁盘上的数据进行大规模计算处理,大数据批处理对实时产生的大规模数据进行处理,大数据计算

1. Storm

一些系统 业务逻辑 和 数据处理逻辑 混合,系统不能复用到其他需求上

Storm中,只需要编程开发好 数据处理逻辑 和 数据源逻辑,处理好拓扑关系

2. Spark Streaming

Spark Streaming巧妙地利用了Spark分片快速计算的特性,将实时传输进来的数据按照时间进行分段,把一段时间传输进来的数据合并在一起,当作一批数据,再去交给 Spark 去处理。

Spark Streaming主要负责 将流数据转换成小的批数据,剩下的交给Spark去做

3. Flink

既可以流处理,也可以批处理初始化相应的执行环境在数据流或数据集上执行数据转换操作流计算就是将 大规模实时计算的资源管理数据流转都统一管理起来开发者只要开发针对小数据量的数据处理逻辑,然后部署到 流计算平台上,就可以对大规模数据进行 流式计算了

如果觉得《流式计算的代表:Storm Flink Spark Streaming》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。