Neurlps2024论文解析|Understanding Representation of Deep Equilibrium Models from Neural Collapse

论文标题

Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective 从神经坍缩视角理解深度均衡模型的表示

论文链接

Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective论文下载

论文作者

Haixiang Sun, Ye Shi

内容简介

本文探讨了深度均衡模型（DEQ）的表示，利用神经坍缩（NC）现象作为分析工具，系统地研究了DEQ在平衡和不平衡条件下的表现。DEQ作为一种隐式神经网络，因其内存效率和竞争性能而受到关注，但其理论分析相对较少。研究表明，在平衡条件下，DEQ表现出NC现象，而在不平衡条件下，尽管存在少数群体崩溃，DEQ仍展现出优于显式神经网络的优势。通过理论分析和实验验证，本文揭示了DEQ在处理不平衡数据集时的特性，包括特征收敛到单纯形等角紧框架的顶点及其自对偶性质，强调了DEQ在不平衡数据集上的优越性。

分点关键点

1. DEQ的内存效率与表现

   • DEQ通过将所有隐藏层表示为非线性不动点方程的平衡点，展现出较强的表示能力。与显式神经网络相比，DEQ在分类任务中取得了更好的结果，尤其是在语言和图像分类任务中。

2. 神经坍缩现象的理论分析

   • 本文系统分析了DEQ在平衡条件下的NC现象，表明在训练结束时，特征的类内均值和分类器向量收敛到单纯形等角紧框架的顶点。该现象在显式神经网络中也得到了验证。
     

3. 不平衡数据集中的表现

   • 在不平衡条件下，DEQ展现出优于显式神经网络的特性，尽管存在少数群体崩溃。研究表明，DEQ在处理不平衡数据集时，特征能够更好地适应未见类别，从而提升性能。

4. 实验验证

   • 通过在Cifar-10和Cifar-100数据集上的实验，验证了理论分析的有效性，结果显示DEQ在平衡和不平衡场景下均表现出色，尤其是在不平衡数据集上。
     

论文代码

代码链接：https://github.com/HaixiangSun/DEQ_NC

中文关键词

1. 深度均衡模型
2. 神经坍缩
3. 隐式神经网络
4. 不平衡数据集
5. 特征收敛
6. 自对偶性质

Neurlps2024论文合集：

Neurlps2024论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！