[ResNet]:Deep Residual Learning for Image Recognition

论文地址：https://arxiv.org/abs/1512.03385

Deep Residual Learning for Image Recognition  (Submitted on 10 Dec 2015)

 1.摘要

越深的网络模型越难以训练。作者提出了深度残差学习网络框架来缓解网络的训练问题。同时，重新设计了每一层的学习函数。

 

2.介绍

模型深度很重要。随着网络深度增加，会出现梯度弥散/爆炸问题。在初始化和中间层中采用归一化可以缓解。

但是当更深的网络能够开始收敛时，就会出现退化问题：随着网络深度的增加，准确度变得饱和（即准确率不下降，这可能不令人意外），然后迅速退化。退化问题不是由过拟合导致的，而是由于复杂模型的难以优化。作者提出了深度残差学习网络来解决退化问题。深度残差学习网络单元由非线性映射和恒等映射两部分组成，假设原始需要学习的函数为H(x)，那么现在非线性映射的学习函数为F(x)=H(x)-x，恒等映射学习的函数为x，最终的学习目标是F(x)+x，作者认为H(x)和F(x)+x两种网络的表达效果是相同的，但是F(x)更容易优化。

F(x)+x单元通过shortcut connection实现，如下图：

恒等映射并不会给网络增加额外的参数和计算量。实验结果表明：1）作者的ResNet网络更容易优化，对应的（简单堆叠的）“plain” nets（普通网络）随着层数增加会出现退化问题；2）ResNet网络随着层数的增加准确率会提高。作者在ImageNet、COCO等数据集上采用深层残差网络，获得较好结果，证明残差学习原理是通用的。

 

2.相关工作

（1）残差表达

（2）shortcut connections

 

3.深度残差网络学习

3.1 残差学习

3.2 恒等映射

 

转载于:https://www.cnblogs.com/listia/articles/8608368.html