epoch & iteration

有一天，师姐问我，epoch和iteration有什么区别？我一时语塞，竟然遍寻百度而不得，最后在stackoverflow上找到一个我认为比较靠谱的答案，虽然它不是最高票，但是是最好理解的，深得我心。原答案在此：
http://stackoverflow.com/questions/4752626/epoch-vs-iteration-when-training-neural-networks
简单起见，我用自己的语言描述一下：
epoch——使用整个训练样本集传播一次，一次传播 = 一次前向传播 + 一次后向传播。但是考虑到内存不够用的问题，训练样本们往往并不是全都一起拿到内存中去训练，而是一次拿一个batch去训练，一个batch包含的样本数称为batch size。
iteration——使用batch size个样本传播一次。同样，一次传播=一次前向传播+一次后向传播。

eg. 我们有1000个训练样本，batch size为100，那么完成一次epoch就需要10个iteration。