YARN container cpu超核如何解决

在 Apache Hadoop YARN 中，Container CPU 超核（即 Container 使用的 CPU 资源超过分配量）是一个常见问题，可能导致集群性能下降或不稳定。以下是解决该问题的详细步骤：

1. 问题诊断

1.1 确认超核现象

• 查看 YARN Web UI：访问 http://:8088，检查 Container 的 CPU 使用率 是否持续超过分配的 vCore 数。
• 检查 NodeManager 日志：查看 /var/log/hadoop-yarn/yarn/yarn-nodemanager-*.log，是否有类似以下警告：

  Container [container_id] is running beyond virtual memory limits.
  

1.2 分析原因

• 应用程序问题：某些任务（如机器学习训练）可能需要更多 CPU 资源。
• 资源分配不合理：YARN 分配的 vCore 数不足以满足应用需求。
• 调度器配置问题：Capacity Scheduler 或 Fair Scheduler 未严格限制 CPU 使用。

2. 解决方案

方案一：调整 YARN 资源分配参数

步骤 1：修改 yarn-site.xml，启用严格的 CPU 限制：

<property>
  <name>yarn.nodemanager.resource-calculatorname>
  <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculatorvalue>
property>


<property>
  <name>yarn.nodemanager.pmem-check-enabledname>
  <value>truevalue>
property>
<property>
  <name>yarn.nodemanager.vmem-check-enabledname>
  <value>truevalue>
property>
<property>
  <name>yarn.nodemanager.vmem-pmem-rationame>
  <value>2.1value>
  <descirbe>设置容器内存限制时，虚拟内存与物理内存之间的比例。容器分配以物理内存为单位表示，允许虚拟内存使用量超过此分配的该比率。describe>
property>

步骤 2：为应用程序分配更合理的 CPU 资源：

# 提交作业时指定每个 Container 的 vCore 数
spark-submit --executor-cores 4 ...

方案二：使用 Cgroups 增强资源隔离

步骤 1：在 yarn-site.xml 中启用 Cgroups：

<property>
  <name>yarn.nodemanager.container-executor.classname>
  <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutorvalue>
property>

<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.hierarchyname>
  <value>/hadoop-yarnvalue>
property>

<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.mountname>
  <value>truevalue>
property>

步骤 2：配置 CPU 限制：

<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usagename>
  <value>truevalue>
property>

方案三：优化调度器配置

步骤 1：修改 capacity-scheduler.xml（或 fair-scheduler.xml），限制队列和应用的最大 CPU 使用率：

<property>
  <name>yarn.scheduler.capacity.root.default.maximum-capacityname>
  <value>80value>
property>


<property>
  <name>yarn.scheduler.capacity.root.default.user-limit-factorname>
  <value>1.0value>
property>

方案四：调整应用程序参数

步骤 1：减少每个 Container 的并行任务数：

# Spark 示例：减少每个 Executor 的并行任务数
spark-submit --conf spark.executor.cores=2 --conf spark.task.cpus=1 ...

步骤 2：优化 MapReduce 参数：

<property>
  <name>mapreduce.map.cpu.vcoresname>
  <value>2value>
property>
<property>
  <name>mapreduce.reduce.cpu.vcoresname>
  <value>4value>
property>

3. 验证优化效果

步骤 1：重启 YARN 服务使配置生效：

sudo systemctl restart hadoop-yarn-resourcemanager
sudo systemctl restart hadoop-yarn-nodemanager

步骤 2：运行测试作业，监控资源使用：

• 使用 top 或 htop 查看 NodeManager 节点的 CPU 使用情况。
• 在 YARN Web UI 中检查 Container 的 CPU 使用率是否符合预期。

4. 长期监控建议

• Prometheus + Grafana：部署监控系统，实时监控 Container 的 CPU 使用情况。
• 设置告警规则：当 Container CPU 使用率持续超过阈值时触发告警。

通过以上措施，可以有效解决 YARN Container CPU 超核问题，提升集群稳定性和资源利用率。