Using GPU On YARN

看了下Hadoop官网,GPU还是通过Linux CGroup实现。

关于Nvidia CUDA库,查文档才实现有Nvidia dock支持。

Hadoop分Split/Map/Shuffle/Combine/Reduce几个阶段,Map/Shuffle占总时间的65%,最新趋势是把这部分放入CUDA。

分布式计算扩展分横向扩展(如Hadoop 集群扩展),和纵向扩展(如GPU和OpenCL下的CPU)。

OpenCL下的Hadoop 任务实现也有了。牛B。

你可能感兴趣的:(Using GPU On YARN)