spark on yarn

Spark on YARN 是指将 Spark 应用程序运行在 Hadoop YARN 集群上，借助 YARN 的资源管理和调度能力来管理 Spark 的计算资源。这种模式能充分利用现有 Hadoop 集群资源，简化集群管理，是企业中常用的 Spark 部署方式。

核心角色

    •    Spark 应用：包含 Driver 进程和 Executor 进程。Driver 负责任务调度、逻辑处理；Executor 负责执行具体任务并存储数据。

    •    YARN 组件：

    ◦    ResourceManager：集群资源（CPU、内存）的总管理者，负责接收应用的资源请求并分配。

    ◦    NodeManager：运行在每个节点上，管理本节点的资源，监控容器（Container）的运行。

    ◦    ApplicationMaster：为每个 Spark 应用启动，向 ResourceManager 申请资源，协调 Executor 运行。

工作流程

    1.    用户提交 Spark 应用到 YARN，指定资源需求（如内存、CPU 核数）。

    2.    YARN 的 ResourceManager 分配第一个容器，启动 Spark 的 ApplicationMaster。

    3.    ApplicationMaster 向 ResourceManager 申请运行 Executor 所需的容器。

    4.    ResourceManager 分配容器后，ApplicationMaster 通知对应节点的 NodeManager 启动 Executor。

    5.    Driver（通常与 ApplicationMaster 同进程）与 Executor 通信，分配任务并监控执行。

    6.    应用运行结束后，ApplicationMaster 向 ResourceManager 注销，释放资源。

优势

    •    资源统一管理：与 MapReduce 等其他 YARN 应用共享集群资源，提高资源利用率。

    •    弹性伸缩：可根据任务需求动态申请或释放资源，适应负载变化。

    •    简化运维：无需单独维护 Spark 集群，降低部署和管理成本。

这种模式让 Spark 能更好地融入 Hadoop 生态，适合需要大规模数据处理且已有 Hadoop 集群的场景。