主页 > 新闻资讯 > Flink的缺点:Flink框架优劣势分析

Flink的缺点:Flink框架优劣势分析

作者:张老师 浏览次数: 2020-02-20 17:59
从现如今的大数据计算趋势来看,批处理和流处理是主流都非常重视的,也是实际大数据应用场景当中的持续性需求。面对这样的需求,流式计算框架开始受到更多的关注和重视。其中代表性的Flink流计算框架,在实际的大数据处理当中,表现如何呢?今天我们来聊聊Flink的缺点以及优点。

Flink框架本质上来说是流引擎,但是在实际工作当中,实现了流处理和批处理的统一。Flink将批处理看作是一种特殊的流处理,也就是有边界的数据流,基于这样的思想,能够实现延迟性较低的流数据+批数据计算。

Flink的缺点

在Flink之前,其实也不乏流式处理引擎,比如说Storm、Spark Streaming,也同样支持流处理,但在实际数据处理上,性能远不如Flink。

Storm是第一代流处理框架,数据吞吐量和延迟上的表现不尽如人意,并且只支持"at least once"和"at most once",即数据流里的事件投递只能保证至少一次或至多一次,不能保证只有一次,在数据准确性方面也存在不足。

Spark Streaming可以算是第二代流处理框架,基于mini-batch的思想,每次处理一小批数据,一小批数据包含多个事件,以接近实时处理的效果。但是因为背靠Spark,用户迁移成本较低,通过Spark能实现批流一体的数据处理,所以也有不少的拥簇者。

Flink可以算是第三代流引擎框架,支持在有界和无界数据流上做有状态计算,以事件为单位,并且支持SQL、State、WaterMark等。它支持"exactly once",即事件投递保证只有一次,数据的准确性能得到提升。相比Storm,它吞吐量更高,延迟更低;相比Spark Streaming,Flink是真正意义上的实时计算,且所需计算资源相对更少。

所以总的来说Flink在流处理上,基于数据有界和无界的思想,可支持流式和批量处理,但是决定性的优势仍然在流处理上,批处理上,Spark反而更具优势。

在实际上的大数据平台应用当中,Flink也并非是完美的,作为计算引擎,Flink能满足绝大部分的数据处理需求,但是作为系统平台而言,Flink的缺点也是存在的,所以主流的趋势还是与其他平台例如Hadoop进行集成开发应用。成都加米谷大数据,大数据技术分享,大数据开发培训,课程详情可联系客服了解!
热点排行
推荐文章
立即申请>>