无限宽神经网络 - 神经网络正切核理论【NTK】

前言

如果你对这篇文章可感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

---

NTK (Neural Tangent Kernel)

理论前提：

• 神经网络足够的宽
• 需要一套特定的初始化方法，来初始化网络参数

得到的结论：

• 神经网络可以在初始化点，使用梯度下降，快速找到全局最小值
  • [icml19 - Simon S. Du] Gradient Descent Finds Global Minima of Deep Neural Networks
• 使用梯度下降从初始化到找到全局最小值，整个网络有一个内在的不变量（神经网络正切核），不依赖于网络参数，且整个过程不变

---

参考资料

• 论文
  • [nips18 - Arthur Jacot] Neural Tangent Kernel: Convergence and Generalization in Neural Networks)
  • [nips19 - Sanjeev Arora] On Exact Computation with an Infinitely Wide Neural Net
• 博客 & 视频
  • Understanding the Neural Tangent Kernel
  • 机器学习12：无穷宽神经网络之DNN in NTK regime
  • 机器学习13：宽神经网络的解
  • 神经网络的正切核理论：引言和定义（上）
  • 神经网络的正切核理论：引言和定义（下）