Flink作为一个热度越来越高的流计算引擎,在越来越多的场景下得到应用,可以说是从寂寂无名到周所周知,其发展态势是整体向上。当然,这也是得益于Flink的高性能和可靠性。今天的...
查看详情 >>自大数据这三个字出现以后,我们对于大数据的了解和认知都在不断的扩展中,从最开始的大数据到大数据发展再到现在的大数据推送,从2009年到现在的2021年,大数据已经在我们身边...
查看详情 >>今天我们开始学习新的篇章MapReduce 系列知识,所以本期带来的是大数据开发-MapReduce ,MapReduce作为一种编程模型,它是如何将自己的功能发挥到极致,以此提高工作效率的呢?下面就一...
查看详情 >>大数据与短视频两者有啥关系呢?在昨天的那篇文章中,我就提到了大数据推送,其中短视频的推送刚好与大数据推送的关系密切。 短视频的推送正是通过大数据做到的,通过收集你经...
查看详情 >>很多人都是一看就会,一做就废眼睛:我会了,我们开始吧!手:你会了我还没会呢!在之前的Hadoop是什么中已经说过MapReduce采用了分而治之的思想,MapReduce主要分为两部分,一部分是...
查看详情 >>今天继续为大家带来Yarn的知识,都知道细节决定成败,我们在工作中更是格外注意细节问题,一不小心的错误可能都让整个编程运行失败。因此细节知识我们可不能落下,下面就开始本...
查看详情 >>随着大数据行业的火热,也越来越多人开始注意到这个行业了。毕竟高薪资、福利待遇好、行业前景佳,又有几个人不会在意呢? 因此在这样如此诱人的福利下,很多人往往会因为太过...
查看详情 >>Spark框架当中,基于RDD的基本数据模型,内部的运行会带来各种Shuffle的问题。从RDD到Dataframe、DataSet,不同的Stage转换,Shuffle不可避免,但是在转换当中,会造成性能消耗。今天的大数据...
查看详情 >>在实时数据流处理的场景下,可能会遇到各种与程序逻辑无关的故障,而导致运行程序中断或数据损失的可能性,因此在实际场景当中,很重要的一个点就是Checkpoint机制,这在很多流计...
查看详情 >>