数值优化-梯度下降法

NG的课件1,引出常用的优化方法梯度下降法(gradient descent)

数值优化-梯度下降法

   

对于 ordinary least squares regression, cost function为

数值优化-梯度下降法

求最小值,意味着求导数为0的位置

   

考虑只有一个样本

数值优化-梯度下降法

   

数值优化-梯度下降法

这叫做LMS update rule (Least Mean Squares)

   

对应所有样本的训练集合

数值优化-梯度下降法

   

这种方法叫做batch gradient decent ,与之对应的在样本数目比如海量的情况下,为了计算快速,经常会每

扫描一个点就做一次update而不是扫描所有点后做一次update,对应称作stochastic gradient decent

   

逻辑回归中:

对应按照MLE观点看,最大化概率

数值优化-梯度下降法

   

数值优化-梯度下降法

   

数值优化-梯度下降法

   

数值优化-梯度下降法

数值优化-梯度下降法

   

你可能感兴趣的:(优化)