入门篇 - Spark简介

Spark 核心模块

image.png

• Spark Core : 提供了 Spark 最基础与最核心的功能，Spark 其他的功能如:Spark SQL，
  Spark Streaming，GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的
• Spark SQL： Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用 SQL 或者 Apache Hive 版本的 SQL 来查询数据。
• Spark Streaming： Spark 平台上针对实时数据进行流式计算的组件，提供了丰富的处理 数据流的 API
• Spark MLlib：Spark 提供的一个机器学习算法库。MLlib 不仅提供了模型评估、数据导入等
  额外的功能，还提供了一些更底层的机器学习原语
• Spark GraphX： Spark 面向图计算提供的框架与算法库。

运行架构

Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。
如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master， 负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务。

image.png

核心组件

Driver

• 将用户程序转化为作业(job)
• 在Executor之间调度任务(task)
• 跟踪Executor的执行情况
• 通过UI展示查询运行情况

Executor

Spark Executor 是集群中工作节点(Worker)中的一个 JVM 进程，负责在 Spark 作业
中运行具体任务(Task)，任务彼此之间相互独立。Spark 应用启动时，Executor 节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有 Executor 节点发生了 故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他 Executor 节点 上继续运行。

• 负责运行组成Spark应用的任务，并将结果返回给驱动器进程
• 通过自身的块管理器(Block Manager)为用户程序中要求缓存的 RDD 提供内存
  式存储。RDD 是直接缓存在 Executor 进程内的，因此任务可以在运行时充分利用缓存 数据加速运算。

Master & Worker

Spark 集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调 度的功能，所以环境中还有其他两个核心组件:Master 和 Worker，这里的 Master 是一个进 程，主要负责资源的调度和分配，并进行集群的监控等职责，类似于 Yarn 环境中的 RM, 而 Worker 也是进程，一个 Worker 运行在集群中的一台服务器上，由 Master 分配资源对 数据进行并行的处理和计算，类似于 Yarn 环境中 NM

ApplicationMaster

Hadoop 用户向 YARN 集群提交应用程序时,提交程序中应该包含 ApplicationMaster，用 于向资源调度器申请执行任务的资源容器 Container，运行用户自己的程序任务 job，监控整 个任务的执行，跟踪整个任务的状态，处理任务失败等异常情况。
ResourceManager(资源)和 Driver(计算)之间的解耦合靠的就是 ApplicationMaster

核心概念

Executor 与 Core

Spark Executor 是集群中运行在工作节点(Worker)中的一个 JVM 进程，是整个集群中
的专门用于计算的节点。在提交应用中，可以提供参数指定计算节点的个数，以及对应的资 源。这里的资源一般指的是工作节点 Executor 的内存大小和使用的虚拟 CPU 核(Core)数 量。
--num-executors 配置 Executor 的数量
--executor-memory 配置每个 Executor 的内存大小
--executor-cores 配置每个 Executor 的虚拟 CPU core 数量

并行度(Parallelism)

在分布式计算框架中一般都是多个任务同时执行，由于任务分布在不同的计算节点进行
计算，所以能够真正地实现多任务并行执行，记住，这里是并行，而不是并发。这里我们将 整个集群并行执行任务的数量称之为并行度。那么一个作业到底并行度是多少呢?这个取决 于框架的默认配置。应用程序也可以在运行过程中动态修改。

有向无环图(DAG)

这里所谓的有向无环图，并不是真正意义的图形，而是由 Spark 程序直接映射成的数据 流的高级抽象模型。简单理解就是将整个程序计算的执行过程用图形表示出来,这样更直观， 更便于理解，可以用于表示程序的拓扑结构。
DAG(Directed Acyclic Graph)有向无环图是由点和线组成的拓扑图形，该图形具有方 向，不会闭环。

任务提交流程

基本概念

（1）Application：表示你的应用程序

（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext

（3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task，并且负责将数据存在内存或者磁盘上。在Spark on Yarn模式下，其进程名称为 CoarseGrainedExecutor Backend，一个CoarseGrainedExecutor Backend进程有且仅有一个executor对象，它负责将Task包装成taskRunner，并从线程池中抽取出一个空闲线程运行Task，这样，每个CoarseGrainedExecutorBackend能并行运行Task的数据就取决于分配给它的CPU的个数。

（4）Worker：集群中可以运行Application代码的节点。在Standalone模式中指的是通过slave文件配置的worker节点，在Spark on Yarn模式中指的就是NodeManager节点。

（5）Task：在Executor进程中执行任务的工作单元，多个Task组成一个Stage

（6）Job：包含多个Task组成的并行计算，是由Action行为触发的

（7）Stage：每个Job会被拆分很多组Task，作为一个TaskSet，其名称为Stage

（8）DAGScheduler：根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler，其划分Stage的依据是RDD之间的依赖关系

（9）TaskScheduler：将TaskSet提交给Worker（集群）运行，每个Executor运行什么Task就是在此处分配的。

image.png

1. 用户创建Spark程序并提交
2. 每个action会生成一个job，包含了一系列的RDD和对其如何进行操作的transformation
3. 每个job生成一个DAG(有向无环图)
4. DAGScheduler根据宽依赖对DAG进行划分stage并生成task组（一个stage对应一组task，一个partition对应一个task）
5. Spark集群在worker上以一组Task为单位进行执行计算