【Sanjeev Arora 】On the ability of neural nets to express distributions

【Sanjeev Arora 】On the ability of neural nets to express distributions

给出了组合Barron 函数可以用神经网络逼近（barron函数可以被单层的nn逼近）

※这里的逼近是可以对任意的分布的L2范数的。

问题：

※这样的组合Barron 函数有哪些函数，会不会太7有限制了。

※这里给出的界限，包括对层数和节点数，相比其他的万有逼近结果来说好不好？

Barron 定理

定义傅里叶变换：

一个函数具有傅里叶逆变换公式也就是说有：

有界区间B可以构造一个范数：也可以定义一个函数的norm：

如果B是单位球那么这个范数变成了

只考虑定义在B上的函数，但是又要做傅里叶变换，那么定义一类扩展函数类是：

注意如果g满足傅里叶逆变换公式，那么这个一定成立，所以这里的函数比满足傅里叶逆变换公式的函数类要大。

定义是f 的扩展的最小范数

在定义的时候f应该要连续可微

这一段不太明白

这一段不太明白

对于sigmoidal激活函数而言有下面的Barron 定理：

注意：这里的定理成立是对所有的\mu都成立的

组合Barron定理

因为上面我们已经给出了Barron 函数可以被单隐层的函数逼近。那么可以预想到多隐层就可以逼近组合barron函数。

第三个是K0C1

需要lipschitz性质防止误差爆炸（但是这样会不会不适用很多函数）

仍然对所有的分布\mu成立

需要注意的是第三个条件里，每个fi的image 会比下个的定义域要稍微小一点。（因为逼近用的g肯定不会完整在Kl里面）

如果我们设定Ki都是一个r半径的球，然后s大概是同一个量级，那么右边大概就是量级 （有没有比一般的小很多）

证明用到了引理：这个引理给出了一个S，让要逼近的函数在这个S里面和一个神经网络误差很小

整个证明的最后一步是用到了sigmoid函数的性质的，也就是值域有界。对于relu函数怎么整活？而且为什么那个S以外的部分反而很大。所以这里的误差基本就是S以外的东西造成的，这里很奇怪。可能是带ml的项无法避免，主要的就是想把这部分的估计区域缩小得越小越好。