spark认知

一、Spark体系结构

Spark是一种基于内存的开源计算框架，不同于Hadoop的MapReduce和HDFS，Spark主要包括Spark Core和在Spark Core基础之上建立的应用框架Spark SQL、Spark Streaming、MLlib和GraphX。

Core库中主要包括上下文Spark Context、抽象数据集RDD、调度器Scheduler、shuffle和序列器Serializer等。Spark系统中的计算、I/O、调度和shuffle等系统基本功能都在其中。

二、Spark编程模型概述

开发人员在编写Spark应用的时候，需要提供一个包含main函数的驱动程序作为程序的入口，开发人员根据自己的需求，在main函数中调用Spark提供的数据操纵接口，利用集群对数据执行并行操作。见插图：

定义主函数

Spark为开发人员提供了两类抽象接口。

第一类抽象接口是弹性分布式数据集RDD，顾名思义，RDD是对数据集的抽象封装，开发人员可以通过RDD提供的开发接口来访问和操作数据集合，而无须了解数据的存储介质（内存或磁盘）、文件系统（本地文件系统、HDFS或Tachyon）、存储节点（本地和远程节点）等诸多实现细节；

第二类抽象是共享变量，通常情况下，一个应用程序在运行的时候会被划分成分布在不同执行节点上的多个任务，从而提高计算的速度，每个任务都会有一份独立的程序变量拷贝，彼此之间互不干扰，然而在某些情况下任务之间需要共享变量，Spark提供了两种共享变量，它们分别是广播变量（Broadcast Variable）和累加器（Accumulators）。

三、SparkContext

3.1、SparkContext的作用

SparkContext除了是Spark的主要入口，也可以看做是对用户的接口，它代表与Spark集群连接的对象，SparkContext主要存在于Driver Program中。可以用SparkContext来创建集群中的RDD、累积量和广播量，在后台SparkContext还能发送任务给集群管理器。每一个JVM只能运行一个程序，即对应的只有一个SparkContext的处于激活状态，因此在创建新的SparkContext前需要把旧的SparkContext停止。见插图：

sparkcontext内部调用

3.2、SparkContext的创建

SparkContext的创建过程首先要加载配置文件，然后创建SparkEnv、TaskScheduler和DAGScheduler，具体过程如下：

3.2.1、加载配置文件SparkConf

SparkConf在初始化时，需要选择相关配置参数，包含master、appName、sparkHome、jars、environment等信息，然后通过构造方法传递给SparkContext，实现代码如下：

spark相关代码设置

3.2.2、创建SparkEnv

创建SparkConf后就需要创建SparkEnv，这里包括很多Spark执行时的重要组件，包括MapOutputTracker、ShuffleFetcher、BlockManager等，在源码中是通过SparkEnv类伴生对象SparkEnv Object内的createDriverEnv方法实现的。

3.3.3、创建TaskScheduler

创建SparkEnv后，就需要创建SparkContext中调度执行方面的变量TaskScheduler。

3.3.4、创建DAGScheduler

创建TaskScheduler对象后，再将TaskScheduler对象传至DAGScheduler，用来创建DAGScheduler对象。

创建DAGScheduler后在调用其start()方法将其启动，以上4点是整个SparkContext的创建过程。