05、反向传播算法（Backpropagation）是如何解决了多层神经网络的参数优化问题的？

反向传播算法（Backpropagation，简称 BP 算法）是深度学习的核心技术之一，其通过高效计算梯度并结合梯度下降法，解决了多层神经网络参数优化的计算复杂度难题。以下从原理、数学基础、执行步骤及关键价值四个维度，详细解析其工作机制：

一、反向传播的核心目标：高效计算参数梯度

在多层神经网络中，参数优化的本质是通过调整权重矩阵 W 和偏置向量 b，使损失函数 L 最小化。而梯度下降法需要计算损失对所有参数的梯度 ∂W∂L​ 和 ∂b∂L​。
传统方法的瓶颈：若直接对每层参数逐个计算梯度（如有限差分法），时间复杂度为 O(N2)（N 为参数数量），在深层网络中计算量极大。
反向传播的突破：利用链式法则将梯度计算转化为 “反向传递” 过程，时间复杂度降至 O(N)，实现线性复杂度的梯度求解。

二、数学基础：链式法则与梯度传递

1. 链式法则（Chain Rule）的核心应用

假设神经网络某层的输入为 x，输出为 y=f(x)，下一层的输出为 z=g(y)，则损失 L 对 x 的梯度为：∂x∂L​=∂z∂L​⋅∂y∂z​⋅∂x∂y​
这一法则允许梯度从后向前逐层传递，形成 “反向传播” 的数学基础。

2. 神经网络中的梯度流

以三层神经网络（输入层→隐藏层→输出层）为例：

• 符号定义