深度学习:Batch Normalization(BN)

文章目录

    • 一、背景
    • 二、初识BN(Batch Normalization)
      • 1、BN概述
      • 2、预处理操作选择
    • 三、BN算法实现
      • 1、BN 算法概述
      • 2、为什么选择 BN 算法
      • 3、如何使用 BN
      • 4、源码实现
      • 5、实战使用
    • 四、Batch Normalization在CNN中的使用

一、背景

本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,这个算法目前已经被大量的应用,最新的文献算法很多都会引用这个算法,进行网络训练,可见其强大之处非同一般啊。

近年来深度学习捷报连连、声名鹊起,随机梯度下架成了训

你可能感兴趣的:(深度学习知识点笔记)