主页 > 新闻资讯 > Spark入门教材:Spark入门基础理论分享

Spark入门教材:Spark入门基础理论分享

作者:张老师 浏览次数: 2020-02-07 18:42
围绕着大数据处理,大数据计算框架是最核心的部分,市面上的Hadoop、Spark、Storm、Flink等,都占据有一席之地。但是要说应用广泛度更高的,还是当属Spark。今天,我们就主要来聊聊Spark,关于Spark入门教材基础理论等相关的知识点。

Spark在大数据处理上比较典型的特点是速度快、易用性高、适用于复杂分析,从2010年发布为开源项目至今,以及进入相对稳定的阶段了。相比于早期的Hadoop,Spark也逐渐有了更高层次的竞争优势。

Spark入门教材

首先,Spark在数据集和数据源的引入上,是非常全面的,各种不同性质的数据集和数据源都可以统一到这个框架下来进行下一步的处理。由于Spark本身不带有分布式文件系统,常常会与Hadoop的HDFS分布式文件系统来协同工作。

Spark基于Hadoop集群环境,在大规模数据计算上的速度非常可观,在内存中的运行速度可以提升100倍,在磁盘上的运行速度可以提升10倍。

而Spark的易用性,则在于用Java、Scala或Python都能编写程序,它本身自带了一个超过80个高阶操作符集合,还可以用它在shell中以交互式地查询数据。

Spark通过在数据处理过程中成本更低的洗牌(Shuffle)方式,将数据计算的速度提升到更高的层次,利用内存数据存储和接近实时的处理能力,Spark比其他的大数据处理技术的性能要快很多倍。

同时,Spark还支持大数据查询的延迟计算,这可以极大地帮助优化大数据处理流程中的处理步骤。并且支持比Map和Reduce更多的函数,优化任意操作算子图(operator graphs)等。

以上就是关于Spark入门教材基础理论知识的一些分享了。在大数据计算引擎当中,Spark无疑是受到越来越多的开发者喜爱的,既可以独立运行,也可以与Hadoop系统协同运行,在大数据计算领域,是个能力强劲的选手。成都加米谷大数据,大数据技术知识分享,大数据培训班每月开班中,详情可联系客服了解!
热点排行
推荐文章
立即申请>>