Spark与Hadoop的相同：大数据框架Spark与Hadoop的对比

谈到大数据，绕不开的两个技术名词就是Spark与Hadoop，在企业大数据平台的开发上，这两者似乎都在使用，也都有着不错的表现。因此，很多人在Spark与Hadoop的相同和不同之处上，常常产生很多的疑问，下面我们就来详细的了解一下。

对于Spark与Hadoop，刚开始接触大数据技术，很多人对这两者的理解都很表面化，觉得这就是两个大数据处理框架，但没有进行更深层次的思考。其实，从更深层次来说，Spark与Hadoop的相同和不同都是有着很明显的表现的。


首先，Spark与Hadoop在解决大数据处理当中的问题时，各自的思路是不一样的。Hadoop实质上是一个分布式数据基础设施，能够解决大数据从存储和计算处理上的所有问题，而Spark，只是专门对已经进行分布式存储的数据进行下一步的计算处理，并不能实现大数据存储。

这就导致了Spark不能独立进行完整的大数据处理，必须和其他的分布式文件系统结合起来才能工作。这一点和Hadoop相比，Hadoop基于自身的分布式文件系统HDFS和分布式计算框架，就能完成整个的大数据处理任务。而Spark，可以选择基于Hadoop的HDFS来实现数据处理，也可以选择与其他的分布式文件系统结合使用。

但是目前来说，Spark主要还是基于Hadoop来运行的，因为这两者的结合，还是非常合适的。Hadoop自身的MapReduce计算框架，在解决离线大数据处理上更有优势，而Spark的出现，弥补了Hadoop自身对于实时数据处理的弱项。

在大数据处理任务的完成上，Spark数据处理速度可以说是秒杀MapReduce的。

MapReduce将数据计算分为两个阶段，且基于磁盘去读取和存储数据，在数据处理上耗费的系统资源更多，需要的时间也更长。而Spark，主要在内存当中进行计算，从集群中读取数据，完成所有必须的分析处理，将结果写回集群，因此大大提升了数据处理速度。

关于Spark与Hadoop的相同和不同，在大数据技术理论知识学习阶段，我们需要有足够清晰的认知和了解，这样才能更好地完成数据处理任务，基于企业大数据平台的实际需求，来进行平台设计和研发。成都加米谷大数据，大数据技术知识分享，大数据课程培训，更多详情可联系客服了解！