Hadoop-Yarn-问题记录

Hadoop-Yarn-问题记录

1

如果capacity配置的容量远超队列配额会引起某些bug，这里能先优化下maxcapacity这个值嘛，尽量不要超过太多capacity值

CapacityScheduler: applications could get starved because computation of #activeUsers considers pending apps
已有issue上说的，如果集群其他队列有其他队列超过设置限额(Max apps)了，这个num schedulable applications在其他队列就会有异常，会把其他队列的也算进去，造成显示错误。

Hadoop 2.7.1, 2.8.0版本中，如果归属于同一个user的叶子Queue中的所有app处于pending状态（比如由maximum-am-resource-percent限制等原因）。此时ActiveUsersManager仍然会将该user认为是活跃用户虽没有running的app，可能导致app饥饿，比如：

• App1(user1)/app2(user2) 活跃状态, app3(user3)/app4(user4) 处于pending状态
• ActiveUsersManager返回activeUsers=4
• 然而，其实该例中只有两个用户（user1/user2）被允许申请新资源，所以此时计算user-limit-resource即用户可用资源时可能比预期更低