主页 > 新闻资讯 > 国内spark发展:Spark大数据的优势

国内spark发展:Spark大数据的优势

作者:张老师 浏览次数: 2020-02-10 18:46
大数据的火爆,带动了各个行业对大数据人才的需求,尤其是涉及到大数据平台开发,以Spark和Hadoop为代表的大数据计算框架,备受青睐,掌握这些技术的大数据人才,也是求职市场上的香饽饽。那么从国内Spark发展来看,Spark大数据的优势如何呢,今天我们就来聊聊这些问题。

就像我们前面提到的一样,大数据处理框架并不是只有Spark,但是随着大数据行业的进一步发展,Spark确实是更加的风生水起,为什么会这样呢?

国内spark

这其实就必须要把Hadoop和Spark放在一起来看,传入国内的大数据处理框架,最初是以Hadoop为主要,因为早期只有它。但是随着大数据处理当中遇到越来越多的问题,实时数据计算的需求开始激增,但是Hadoop在实时数据计算上,并不能很好地完成。

这是国内Spark火爆起来的背景,举个典型的例子,阿里巴巴的搜索和广告业务,最初使用的是Mahout和MapReduce来解决机器学习问题,但是因为Hadoop的实时计算局限,后来转向了Spark框架。通过Spark实现多次迭代的机器学习算法和一些高计算复杂度的算法,并将其运用在推荐系统上,这就是我们日常生活当中都能体验到的。

Spark基于速度、易用性和复杂分析而设计,所以面对大规模的实时数据分析上,具有天然的优势。将各种不同性质的数据集,如文本数据、图表数据等,以及其他一些数据源,如批量数据或实时的流数据,统筹到Spark这一个框架下来进行分析处理,大大提升了Spark在大数据计算上的竞争优势。

另外,Spark在数据处理上的运行速度,相比Hadoop有了极大的提升。Hadoop基于磁盘计算,需要不断从硬盘上读取数据,而后来者Spark,吸取经验教训,基于内存计算,大大提升了运算效率,可以实现在内存中的运行速度提升100倍,在磁盘上的运行速度提升10倍。

近年来,国内Spark的发展,主流的趋势是同Hadoop平台整合,实现协同工作,针对不同的数据处理需求,尤其是高度复杂的数据处理需求,共同协作完成。成都加米谷大数据,专业大数据培训机构,大数据开发2020春季班正在招生中,详情可联系客服了解!
热点排行
推荐文章
立即申请>>