batch Mini-batch

batch：整个训练数据集。
Mini-batch：在学习算法中，执行一次算法迭代步骤所用到的训练样本数据。通常是整个训练数据集的一小部分。
iteration：执行一次算法迭代，称为一次iteration。对于神经网络算法而言，一次前向传播与梯度的一次反向传递过程，称为一次iteration。
epoch：算法迭代过程中，每一批次数据Mini-batch迭代一次算法，训练数据集中所有数据都进行过算法迭代后，称为一次epoch。
在神经网络算法中，采用Mini-batch的方式进行训练已经是一种约定俗成的方式，因此，若无特别的说明，batch、batch_size等都指的是Mini-batch。