CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源

公平调度配置可参考:http://datamining.blog.csdn.net/article/details/94554469

目录

计划模式设置

队列资源抢占分配


 

计划模式设置

1.创建计划规则

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第1张图片

 

2.设置白天配置,可以根据业务选择具体配置计划,调整资源,选择每天,就是每天的固定时间范围。这里选择每天,时间初步划分为区分白天和晚上

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第2张图片 3.创建完成后可以看到配置的计划,然后点击刷新动态资源池,使配置生效

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第3张图片

4. 根据设置的计划,在资源池中,配置计划时间需要的资源

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第4张图片

 

 5.根据计划配置具体参数

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第5张图片

 6.分配的结果如下

白天 root.test 队列权重为5,晚上 root.hdfs 队列权重为5

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第6张图片

 CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第7张图片

 

7.两个队列同时执行任务,白天执行效果(执行一个队列会把所有资源占用)

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第8张图片

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第9张图片

 

8.两个队列同时执行任务,晚上执行效果(执行一个队列会把所有资源占用)

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第10张图片

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第11张图片

 


队列资源抢占分配

 当资源分配如下图所示,如只启动root.hdfs和root.test队列,权占比大的队列,会占用其他没有程序的队列(root.default),而root.test队列只使用自己的资源(可能会有部分抢占但是较少),也就是权占比大的队列,会占用其他未使用资源。

资源分配:

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_第12张图片

 

队列资源使用(启动的任务时相同的操作) 

上图是三个队列资源分配,四个队列同样是权重大的抢占其他资源多,权重小的基本使用自己资源(抢不过)~ 

你可能感兴趣的:(Hadoop,Yarn)