主页 > 新闻资讯 > Spark应用场景与案例:Spark框架的实际应用解析

Spark应用场景与案例:Spark框架的实际应用解析

作者:张老师 浏览次数: 2020-02-17 16:08
作为大数据领域的后起之秀,Spark可以说是风头一时无两,几度传出要替换掉Hadoop的说法。虽然,这样的说法不算准确,但是确实是说明了Spark在大数据领域的受欢迎程度。今天,我们从Spark的实际应用角度来聊聊,Spark应用场景与案例。

作为Apache的顶级开源项目之一,Spark其实可以说是在Hadoop的基础上进行的进一步的优化,尤其是计算性能这一块,Spark相对于Hadoop的MapReduce程序,有了极大的提升。

Spark应用场景与案例

Spark定位做一个快速同样的大数据计算引擎,在迭代计算、交互式查询计算以及批量流计算等方面有了极大的提升。经过这些年的发展,已经逐步形成完整的生态圈,包括Shark、Spark Streaming、MLbase、GraphX、SparkR等。

Spark提供一套支持DAG图的分布式并行计算的编程框架,减少多次计算之间中间结果写到Hdfs的开销;提供Cache机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的IO开销;使用多线程池模型来减少task启动开稍,shuffle过程中避免不必要的sort操作以及减少磁盘IO操作。

得益于Spark框架计算性能的提升,Spark应用场景也有了更广泛地发展空间,尤其是对实时查询和迭代计算要求更高的应用场景。

在互联网公司,Spark主要应用在广告、报表、推荐系统等业务上,广告业务方面,主要做应用分析、效果分析、定向优化等;推荐系统方面,则主要做优化相关排名、个性化推荐以及热点点击分析等。

举个例子,在国内,腾讯广点通是最早使用Spark的应用之一。腾讯大数据精准推荐借助Spark快速迭代的优势,围绕“数据+算法+系统”这套技术方案,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上,支持每天上百亿的请求量。

关于Spark应用场景与案例,相信大家看完以上的内容也都有了初步的认识和了解了。Spark从发行以来,因为强劲的计算性能得到很多平台的青睐,未来的应用前景也不可估量。成都加米谷大数据,专业大数据培训机构,大数据开发2020春季班正在招生中,详情可联系客服了解!
热点排行
推荐文章
立即申请>>