On the Spectral Bias of Neural Networks论文阅读

1. 摘要

众所周知,过度参数化的深度神经网络(DNNs)是一种表达能力极强的函数,它甚至可以以100%的训练精度记忆随机数据。这就提出了一个问题,为什么他们不能轻易地对真实数据进行拟合呢。为了回答这个问题,研究人员使用傅里叶分析来研究深层网络。他们证明了具有有限权值(或训练有限步长)的深度网络天生偏向于表示输入空间上的平滑函数。具体地说,深度ReLU网络函数的特定频率分量(k)的衰减速度至少与O(k^2)一样快,宽度和深度分别以多项式和指数的方式帮助建模更高的频率。例如,这说明了为什么DNNs不能完美地记忆峰形三角函数。他们还表明,DNNs可以利用低维数据流形的几何形状,用简单函数近似流形上存在的复杂函数。因此,研究人员发现,所有被网络分类为属于某一类的样本(包括对抗本)都通过一条路径连接,这样网络沿着那条路径的预测就不会改变。最后,一般来说高频分量函数所对应的神经网络参数所占比重较小,这有助于正则化与抗过拟合。

2. 引言

低频信息指的是颜色缓慢变化,代表着连续渐变的一块区域,这部分为低频信息。对于一副图像来说,除去高频就是低频,也就是边缘以内的内容为低频,而边缘内的内容就是图像的大部分信息,即图像的大致概貌和轮廓,是图像的近似信息。

反之,图像边缘的灰度值变化快,就对应着高频。图像的细节处也就是属于灰度值急剧变化的区域,正是因为灰度值的急剧变化,才会出现细节。另外对于噪声,在一个像素所在的位置,之所以是噪点,是因为它与正常的点颜色不一样了,也就是说该像素点灰度值明显不一样,所以是高频部分。

通常,图像的低频是图像中对象的大致概况内容,高频对应噪声和细节。神经网络更倾向于拟合高频信息,而人类主要关注低频信息,然而对低频分量的学习,更有助于网络提高在对抗干扰过程中的鲁棒性。

主要贡献:

  • 利用连续分段线性结构对ReLU网络的傅里叶谱分量进行分析。
  • 发现了谱分量偏差(Spectrum bias)的经验证据,来源于低频分量,然而对低频分量的学习,有助于网络在对抗干扰过程中的鲁棒性。
  • 通过流形理论,给予学习理论框架分析。

3. 实验结果

On the Spectral Bias of Neural Networks论文阅读_第1张图片

On the Spectral Bias of Neural Networks论文阅读_第2张图片 On the Spectral Bias of Neural Networks论文阅读_第3张图片

On the Spectral Bias of Neural Networks论文阅读_第4张图片 

On the Spectral Bias of Neural Networks论文阅读_第5张图片 On the Spectral Bias of Neural Networks论文阅读_第6张图片

On the Spectral Bias of Neural Networks论文阅读_第7张图片 On the Spectral Bias of Neural Networks论文阅读_第8张图片

On the Spectral Bias of Neural Networks论文阅读_第9张图片 

参考文献

On the Spectral Bias of Neural Networks

On the Spectral Bias of Deep Neural Networks笔记 - 知乎

去芜存三菁,On Spectral Bias of Deep Neural Networks精读上 - 知乎

你可能感兴趣的:(机器学习,人工智能,深度学习,自动驾驶)