Batch Normal

Batch Normal 缺点：

• BtachSize 太小，效果不佳
• RNN 等动态网络结构使用 Batch Normal 效果不佳
• 训练时候和推理时统计量不一致问题。（线上可以使用训练时刻记录的各个 Mini-Batch）

Batch Normal：

• Forward Network Batch Normal
• CNN Batch Normal
• Batch 内实例之间的相互依赖和影响关系，所以考虑 one-data

Layer Normal：

• RNN Layer Normal（效果可以）
• CNN Layer Normal（效果不佳）
• Forward Network Noraml（效果不佳）

Instance Normal：

• CNN
  Group Normal：
• CNN

学习笔记：
https://zhuanlan.zhihu.com/p/43200897