反向传播(1)

反向传播(1)_第1张图片
MachineLearninginMarketing

反向转播

这是一个比较难于理解的部分,不过如果你不理解似乎也不会影响你使用机器学习,不过只有很好理解什么是反向传播才能够真正理解在模型中是如何优化参数的。

坐下来想一想,我们通过损失函数可以查看出估计值与期望值之间差距来评估当前参数好坏。知道了我们参数(也就是函数)好坏就是为了优化函数,我们优化参数具体工作就是更新参数。更新那些参数以及更新幅度是如何操作的呢。
我们需要通过损失函数对每一个参数的导数,简单有效方法就是反向求导。

求导链式法则

  • 第一种情况


参考一个老外课程来理解什么是反向传播,每一个函数可以看做管道阀来控制流量。

我们先回忆一下什么是链式求导。

  • 第二种情况




你可能感兴趣的:(反向传播(1))