Spark基础教程：Spark系统功能解析

基于大规模数据分析处理，Spark的表现无疑是得到了市场的认可的，越来越多的企业在企业大数据平台的搭建上，开始采用Spark，这就是最好的证明。Spark作为大数据实时计算引擎，确实也在大数据的处理上，具有很好的性能。今天我，我们的Spark基础教程，就为大家分享一下Spark系统功能解析。

Spark发行于Hadoop之后，在一定程度上来说，其实是对于Hadoop计算框架的补充，针对Hadoop不擅长的实时计算，Spark做了很好的优化。目前来说，亚马逊、eBay、雅虎等，也都在使用Spark。


Spark首先在易用性上做了很好的优化，支持多种语言，提供Java，Scala，Python和R中的高级API，对于技术开发人员来说，不限于语言，也能节省一些精力。但是需要注意的一点是，Spark自身的编程语言是Scala，Scala仍然是最优的语言选择。

其次是在运行速度上，Spark从理论上的运行速度来时，可以比Hadoop MapReduce快100倍，也就是说，在面对更大规模的数据处理上，Spark也能有高效的表现。

另外，Spark所能支持的数据源也更加广泛，支持多种格式，包括Parquet，JSON，Hive和Cassandra，CSV和RDBMS表，以及文本文件等，都能获取。并且，Spark还提供Data Source API，用于通过Spark SQL获取结构化数据。

Spark在延后计算上的设计，也是影响其计算速度的关键因素之一。对于转换（transformations），Spark将它们添加到DAG(有向无环图)的计算中，并且只有当驱动程序请求一些数据时，这个DAG才会实际执行。

最后，在Spark与Hadoop的整合系统。 Spark提供与Hadoop的平滑兼容性，并且Spark能够使用YARN在现有的Hadoop集群上运行资源调度，这也是前面我们提到Spark在一定程度上来说，是Hadoop计算框架的补充的原因。

以上就是我们今天的Spark基础教程关于Spark系统功能解析的一点分享了，总体来说，Spark在大数据计算上具有极大的优势，但是也并非完美，与Hadoop整合协同，是现阶段大数据处理的更优解决方案。成都加米谷大数据，大数据技术知识分享，大数据培训班课程常年开班中，详情可联系客服了解！