神经网络中梯度计算求和公式求导问题

以下是公式一推导出公式二的过程。

• 表达式一
  $$\frac{\partial E}{\partial w_{jk}}=-2(t_k-o_k)\cdot \text{sigmoid}\left(\sum _j{w}_{jk}\cdot o_j\right)\cdot (1-\text{sigmoid}\left(\sum _j{w}_{jk}\cdot o_j\right))\cdot \frac{\partial }{\partial w_{jk}}\left(\sum _j{w}_{jk}\cdot o_j\right)$$

• 表达式二
  $$\frac{\partial E}{\partial w_{jk}}=-2(t_k-o_k)\cdot \text{sigmoid}\left(\sum _j{w}_{jk}\cdot o_j\right)\cdot (1-\text{sigmoid}\left(\sum _j{w}_{jk}\cdot o_j\right))\cdot o_j$$

这是一个关于神经网络中梯度计算的推导问题，主要运用了链式法则来进行求导推导，以下是详细过程：

已知条件

已知要对 $\frac{\partial E}{\partial w_{j,k}}$ 进行求导，表达式最初形式为：
$$\frac{\partial E}{\partial w_{j,k}}=-2(t_k-o_k)\cdot \text{sigmoid}(\sum _j{w}_{j,k}\cdot o_j)(1-\text{sigmoid}(\sum _j{w}_{j,k}\cdot o_j))\cdot \frac{\partial ({\sum }_j{w}_{j,k}\cdot o_j)}{\partial w_{j,k}}$$
这里 $E$ 通常表示误差，$t_k$ 是目标值，$o_k$ 是输出值，$w_{j,k}$ 是权重，$o_j$ 是前一层神经元的输出，$\text{sigmoid}$ 是激活函数。

推导过程

1. 重点关注 $\frac{\partial ({\sum }_j{w}_{j,k}\cdot o_j)}{\partial w_{j,k}}$ 这一项。
   • 根据求和求导的性质，对于 ${\sum }_j{w}_{j,k}\cdot o_j$，因为只有当 $j$ 取特定值时，$w_{j,k}$ 才是变量（其他项的 $w_{i,k}$ 中 $i\ne j$ 对于当前求导来说是常量）。
   • 那么 ${\sum }_j{w}_{j,k}\cdot o_j$ 展开后，对 $w_{j,k}$ 求导时，除了包含 $w_{j,k}$ 的这一项，其他项都为 0（因为它们相对于 $w_{j,k}$ 是常数）。
   • 而包含 $w_{j,k}$ 的这一项为 $w_{j,k}\cdot o_j$，根据求导公式 $(ax{)}^{\prime }=a$（$a$ 为常数，$x$ 为变量），对 $w_{j,k}\cdot o_j$ 关于 $w_{j,k}$ 求导，结果就是 $o_j$。
2. 将 $\frac{\partial ({\sum }_j{w}_{j,k}\cdot o_j)}{\partial w_{j,k}}=o_j$ 代入原式，就得到了第二个表达式：
   $$\frac{\partial E}{\partial w_{j,k}}=-2(t_k-o_k)\cdot \text{sigmoid}(\sum _j{w}_{j,k}\cdot o_j)(1-\text{sigmoid}(\sum _j{w}_{j,k}\cdot o_j))\cdot o_j$$

综上，通过对 $\frac{\partial ({\sum }_j{w}_{j,k}\cdot o_j)}{\partial w_{j,k}}$ 进行求导并代入原式，就从第一个表达式推导出了第二个表达式。