Spark on Yarn 运行流程

1.首先客户端提交spark作业到ApplicationMananger

2.向ApplicationManager申请启动ApplicationMaster,ApplicationManager选择一台NodeManager分配一个Container,在Container中开启ApplicationMaster进程。

3.ApplicationMaster向Manager注册本次Application

4.ApplicationMaster计算job所需资源,并向ResourceManager申请资源(粗粒度申请资源)

5.ResourceManager通过资源调度器给job分配一些Container 用来启动Executer。

你可能感兴趣的:(spark,大数据,分布式)