Spark权威指南：Spark架构及应用分析

Spark框架随着近年来的发展，也越来越受到企业的青睐，Spark作为大数据计算引擎，性能优异，是一个快速、通用的计算框架，针对现阶段的各种大数据应用场景，都能提供相应的解决方案。今天我们就来看看Spark权威指南，Spark架构及应用分析。

Spark的出现，被认为是大数据第二代计算框架，相较于第一代的Hadoop，Spark在计算性能上的表现优异，一度被认为要彻底取代Hadoop。但是时至今日，我们看到的是Hadoop和Spark共存，更多的是走向协同开发的路子。


这也是因为Spark既可以独立运行，也可以基于其他的系统框架，作为计算引擎来工作。Spark在架构设计上，将用于执行任务的集群交由集群管理器管理，可以通过Spark Standalone集群管理器、YARN集群管理器、Mesos集群管理器等实现程序资源调度。

Spark程序运行，一个Application由一个driver进程(驱动程序)和一组Executor进程组成。

Driver进程负责运行main函数，是Spark应用程序的核心，维护有关Spark应用程序的信息、响应用户的程序或输入、分配和调度executor的工作。

Executors进程实际执行driver分配给他们的工作，执行由驱动程序分配给它的代码，并将执行器executor的计算状态报告给驱动(driver)节点。

Spark除了集群cluster模式之外，还具有本地local模式。driver驱动程序和executor执行器是简单的进程，这意味着它们可以在同一台机器或不同的机器上运行。在本地local模式中，驱动程序和执行程序(作为线程)在个人计算机上运行，而不是集群。

关于Spark架构及应用程序，需要注意的核心点：Spark使用一个集群管理器来跟踪可用的资源；Driver驱动程序负责执行驱动程序的命令，在Executor执行器中完成给定的任务。

以上就是Spark权威指南关于Spark架构及应用的分析了，Spark的学习，涉及到理论知识的部分，架构设计是需要格外重视的一部分，只有理解了这部分，才能在编程实战当中更快地入门。加米谷大数据，成都大数据培训机构，大数据开发培训每月开班中，联系客服可获免费学习资料哦！