Spark----SparkContext解析

SparkContext解析

SparkContext是用户通往Spark集群的唯一入口,任何需要使用Spark的地方都需要先创建SparkContext,那么SparkContext做了什么?

首先SparkContext是在Driver程序里面启动的,可以看做Driver程序和Spark集群的一个连接,SparkContext在初始化的时候,创建了很多对象:

Spark----SparkContext解析_第1张图片

上图列出了SparkContext在初始化创建的时候的一些主要组件的构建。

SparkContext创建过程

创建过程如下:

Spark----SparkContext解析_第2张图片

SparkContext在新建时

  1. 内部创建一个SparkEnv,SparkEnv内部创建一个RpcEnv
    1. RpcEnv内部创建并注册一个MapOutputTrackerMasterEndpoint(该Endpoint暂不介绍)
  2. 接着创建DAGScheduler

你可能感兴趣的:(Spark)