计算机视觉领域Batch的大小如何选择？

 经过研究生阶段的学习，结合自己做的实验和网上的paper，谈谈对这个问题自己的理解：

 首先，要确定batch_size 也是需要调参的，而且绝对不是越大越好。LeCun曾经说过一个真正的朋友不会让你使用大于32的batch_size。但是大的batch_size 可以减少我们训练的时间。

（本人小组实验室目前还是只有2块TiTan XP 用DeepLab v3+跑Cityscape数据集 把图像resize成512×512 也只能最多将batch_size设置为8。还没体验过bs=32的待遇）

1. 当有足够算力时，选取batch_size 为32或更小一些。
2. 算力不够时，在效率和泛化性之间做trade-off，尽量选择更小的batch_size .
3. 当模型训练到尾声时，想更精细化地提高成绩（比如论文实验、比赛最后），有一个trick时可以将batch_size设置成1，即做存粹的SGD，慢慢把error磨掉。