《深度学习》————NN网络是否可以拟合任何一种函数

1 前言

自从接触深度学习开始，我一直在思考一个问题，NN网络是否可以拟合任何一种函数，我想答案是肯定的，DenseNet的出现就说明了这一点。

2 “NN网络是否可以拟合任何一种函数”？

“NN网络是否可以拟合任何一种函数”，单看这样的表述，肯定是不严谨的，
关于这个理论的出处，是来自于《Deep Learning by Ian Goodfellow etc. | 6.4.1 Universal Approximation Properties and Depth》:

“Deep Learning Book”: In summary, a feedforward network with a single layer is sufficient to represent any function, but the layer may be infeasibly large and may fail to learn and generalize correctly. In many circumstances, using deeper models can reduce thenumber of units required to represent the desired function and can reduce theamount of generalization error.

具体来说，这里的“函数”是指 Borel measurable function；
于是，我们给出一个更加具体的表述：

深度神经网络可以拟合任意Borel可测函数。

于是接下来，我们就会想到一个问题：什么是“Borel可测函数”？

3 什么是“Borel可测函数”？

在"Deep Learning Book"中，关于“Borel可测函数”的论述是来自于[Horniket et al., 1989]论文《Approximation Capabilities of Multilayer Feedforward Networks》，我们也准备首先学习一下这篇论文；
首先我们给出此论文证明的一般性结论：

“Horniket_Approximation”：对于任意有限的环境度量$\mu$，只要有足够多的隐藏单元，由单隐藏层和任意有界非常数激活函数构成的多层前馈网络，能以任意精度逼近任意的Borel可测函数。

（关于论文的译读请参考“《Approximation Capabilities of Multilayer Feedforward Networks》的学习笔记”）