flink和spark对比

1、技术理念不同：Spark的技术理念是使用微批来模拟流的计算，基于Micro-batch,数据流以时间为单位被切分为一个个批次，通过分布式数据集RDD进行批量处理，是一种伪实时。而Flink是基于事件驱动，它是一个面向流的处理框架， Flink基于每个事件一行一行地流式处理，是真正的流式计算。 另外他也可以基于流来模拟批进行计算实现批处理，在技术上具有更好的扩展性。

2、时间机制：SparkStreaming只**处理时间， 折中地使用processing time来近似地实现event time相关的业务。使用processing time模拟event time必然会产生一些误差， 特别是在产生数据堆积的时候，误差则更明显，甚至导致计算结果不可用，Structured streaming **处理时间和事件时间，同时** watermark 机制处理滞后数据Flink **三种时间机制：事件时间、注入时间、处理时间、同时** watermark 机制处理迟到的数据，说明Flink在处理乱序大实时数据的时候，优势比较大。

世上最累人的事，莫过于虚伪的过日子。生活不是让你用来妥协的。你退缩得越多，那么可以让你喘息的空间也就是越少。

本站声明：本站部分文章来自网络，由用户上传分享，如若内容侵犯了您的合法权益，可联系我们进行处理。文章仅供大家学习与参考,不**本站立场。

 

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z