CUDA_全局内存及访问优化

全局内存

GPU全局内存，CPU和GPU都可以进行读写操作。任何设备都可以通过PCI-E总线对其进行访问，GPU之间不通过CPU，直接将数据从一块GPU卡上的数据传输到另一块GPU上。

点对点的特性实在DUDA4.x SDK中引入。只对特定平台进行支持（特斯拉硬件通过TCC驱动模型能够支持windows7和windows Vista平台，对于linux或windowsXP平台，消费机GPU卡和特斯拉卡都支持）。

CPU主机端处理器可以通过以下三种方式对GPU上的内存进行访问：

• 显式地阻塞传输；
• 显式地非阻塞传输；
• 隐式地使用零拷贝内存复制。

一旦数据进入到GPU，主要问题就成了如何在GPU中进行高效访问。通过创建一个每十次计算只需一次访存的模式，内存延迟能明显的被隐藏，但前提是对全局内存的访问必须是以合并的方式进行访问。

对全局内存的访问是否满足合并访问条件是对CUDA程序性能影响最明显的因素之一。

合并访问–全局存储器访问优化

所有线程访问连续的对齐的内存块。

如果我们对内存进行一对一连续对齐访问，则每个线程的访问地址可以合并起来，只需一次存储食物即可解决问题。假设我们访问一个单精度或者整型值，每个线程将访问一个4字节的内存块。内存会基于线程束的方式进行合并（老式的G80硬件上使用半个线程束），也就是说访问一次内存将得到32*4=128个字节的数据。

合并大小支持32字节、64字节、128字节，分贝标识线程束中每个线程一个字节、16位以及32位为单位读取数据，但前提是访问必须连续，并且以32字节位基准对其。

将标准的cudaMalloc