learn from 从0开始学大数据(极客时间)
文章目录
1. Storm2. Spark Streaming3. Flink对存储在磁盘上的数据进行大规模计算处理,大数据批处理对实时产生的大规模数据进行处理,大数据流计算1. Storm
一些系统 业务逻辑 和 数据处理逻辑 混合,系统不能复用到其他需求上
Storm
中,只需要编程开发好 数据处理逻辑 和 数据源逻辑,处理好拓扑关系
2. Spark Streaming
Spark Streaming
巧妙地利用了Spark
的分片和快速计算的特性,将实时传输进来的数据按照时间进行分段,把一段时间传输进来的数据合并在一起,当作一批数据,再去交给 Spark 去处理。
Spark Streaming
主要负责 将流数据转换成小的批数据,剩下的交给Spark
去做
3. Flink
既可以流处理,也可以批处理初始化相应的执行环境在数据流或数据集上执行数据转换操作流计算就是将 大规模实时计算的资源管理和数据流转都统一管理起来开发者只要开发针对小数据量的数据处理逻辑,然后部署到 流计算平台上,就可以对大规模数据进行 流式计算了如果觉得《流式计算的代表:Storm Flink Spark Streaming》对你有帮助,请点赞、收藏,并留下你的观点哦!