为什么GPU训练网络还不如CPU快

为什么GPU训练网络还不如CPU快

当网络规模较小的时候,GPU是无法体现出计算上的优势的,可能不光没有加速效果,反而还不如CPU训练的快。

只要加大网络规模,当网络足够大的时候,GPU才能显示出它的加速效果

Pytorch官网的这篇tutorial也提到相关的内容
如下
为什么GPU训练网络还不如CPU快_第1张图片
将下图红框参数都改为200
为什么GPU训练网络还不如CPU快_第2张图片
在我笔记本上的加速效果如下,有三倍多的速度提升

CPU训练用时20m0s
为什么GPU训练网络还不如CPU快_第3张图片
GPU训练用时5m59s
为什么GPU训练网络还不如CPU快_第4张图片

你可能感兴趣的:(pytorch深度学习)