NoProp：无需反向传播，基于去噪原理的非全局梯度传播神经网络训练，可大幅降低内存消耗

反向传播算法自四十年前问世以来一直作为深度学习的基石，然而仍然面临两项关键技术挑战：首先由于必须存储中间激活值用于梯度计算，导致内存消耗显著；其次其本质上的顺序计算特性严重限制了模型在分布式多GPU环境下的并行扩展能力。近期牛津大学、Mila研究所与Google DeepMind的研究团队联合提出了一种名为NoProp的创新方法。该研究成果表明，图像分类模型的训练可以完全不依赖任何形式的全局前向或反向传播过程。NoProp的核心技术基于扩散模型的概念，通过训练网络的每一层对注入噪声的目标标签实施去噪操作，从而彻底重新构想了深度学习的基础训练范式。

现有无梯度方法的技术局限

当前学术界提出的"无反向传播"训练方法主要可归类为三种技术路线，然而它们均存在明显的局限性：

反向传播替代方法如前向-前向传播(Forward-Forward)与目标传播(Target Propagation)采用局部损失函数进行参数优化，但在处理现代复杂数据集时普遍存在性能瓶颈问题，且对超参数选择表现出较高的敏感度。零阶梯度估计(Zeroth-Order Gradient Estimation)通过有限差分方法近似计算梯度，但其计算复杂度随参数规模呈指数级增长，严重限制了在大型模型中的应用可行性。进化策略(Evolutionary Strategies)则完全摒弃了梯度信息，转而依赖大规模网络参数评估（通常需要数百万次迭代）来搜索最优解，计算资源消耗极高。

上述各类方法均未能提供一种在保证模型精度的同时具备合理计算效率的完整解决方案。NoProp正是针对这一技术缺口而提出的创新性尝试。

NoProp 核心机制

NoProp的核心训练流程由以下关键环节构成：

1. 标签嵌入空间的构建与初始化：为每个分类类别构建固定维度的向量表示，这些向量可在训练过程中进行优化调整。
2. 噪声注入机制：对真实标签向量施加精心控制的高斯噪声，其强度由专门设计的噪声调度器动态管理，这一机制在概念上类似于扩散模型中的噪声采样策略。
3. 分层去噪训练过程：第t层的优化目标是根据第t-1层输出的含噪标签表示，预测并恢复原始无噪声标签。训练过程采用均方误差(MSE)作为损失函数，度量预测标签与目标标签之间的偏差。
4. 推理阶段工作机制：在模型推理阶段，输入初始化为纯高斯噪声向量。网络中的每一层依次执行去噪操作，经过T个连续去噪步骤后，最终层的输出通过Softmax函数转换为分类概率分布。

由于每层的训练过程不依赖于后续层的任何梯度或状态信息，整个网络训练实现了完全的层间解耦，无需执行全局性的前向或反向传播计算。这种解耦特性带来了显著的灵活性优势，例如允许随机调整层训练顺序，甚至支持将不同网络层分布部署在不同的计算设备上进行并行训练。

NoProp 的三种技术变体

研究团队基于核心原理提出了NoProp的三种实现方式，各具技术特点：

NoProp-DT(Discrete Time)采用离散时间步长进行标签去噪，通常执行十次快速的去噪操作。在所有变体中，DT版本在测试集上实现了最高的分类准确率。NoProp-CT(Continuous Time)将时间视为连续变量，模型学习一个控制噪声衰减动态的函数。相较于NoProp-DT，CT变体具有更低的GPU内存占用，且其训练速度优于标准神经常微分方程(Neural ODE)求解器。NoProp-FM(Flow Matching)则采用流匹配常微分方程(Flow Matching ODE)替代传统扩散过程模型。当类别嵌入向量与模型参数共同进行端到端优化时，NoProp-FM的性能表现接近前两种实现方式。

提升训练稳定性的技术方法

为确保训练过程的收敛稳定性，研究人员实现了三项关键技术措施：

1. 原型初始化技术(Prototype Initialization)：每个类别标签使用该类中最具代表性的"原型"样本进行初始化，为标签嵌入向量提供合理的初始状态，加速训练收敛。
2. 自适应噪声调度机制(Adaptive Noise Scheduling)：在连续时间变体(NoProp-CT/FM)中，噪声水平并非预先固定参数，而是由模型在训练过程中自动学习和调整，有效避免了噪声量过大或过小导致的训练不稳定问题。
3. 类别向量分离损失函数(Class Separation Loss)：引入专门设计的辅助损失项，促使不同类别的嵌入向量在特征空间中保持充分的区分度，防止特征表示坍缩至同一区域，提升分类边界的清晰度。

实验结果与性能分析

在CIFAR-10数据集上使用NVIDIA A100 GPU进行的系统性实验表明：传统基于反向传播的训练流程需要约1.17 GB的GPU内存。相比之下，NoProp-DT将内存需求降低至0.64 GB，而NoProp-CT进一步降低至0.45 GB。在训练效率方面，要达到70%测试准确率，NoProp-CT的训练速度约为基于伴随方法(Adjoint Method)的神经ODE训练方式的两倍。在模型性能评估中，NoProp在MNIST数据集上达到了99.5%的分类准确率，在CIFAR-10数据集上实现了80.5%的准确率，这些性能指标与使用标准反向传播训练的基准模型相当，但计算资源消耗显著降低。

总结

NoProp研究成果证实了在不依赖全局梯度信息传播的条件下训练深度神经网络的技术可行性。其层间独立学习的特性为模型并行化训练（例如将不同网络层分布到多个计算设备上）提供了新的技术路径。该方法不仅显著降低了训练过程的内存占用，在特定场景下还缩短了模型训练时间，这些特性可能有助于缓解深度学习中的灾难性遗忘等长期存在的挑战性问题。

NoProp将深度神经网络的训练过程重新定义为一种迭代式标签去噪任务。通过彻底摆脱对全局梯度链的依赖，该方法不仅有效降低了内存消耗，为模型训练的并行化创造了新的可能性，还在经典的计算机视觉基准测试中实现了与传统反向传播方法相当的准确率水平。这项创新性工作为无梯度深度学习领域的理论与实践发展提供了重要的技术基础与研究方向。

论文：https://avoid.overfit.cn/post/f9e17c1e163b461f84946c1e8ca88fa4