[11-3] Gradient Boosting regression

        main idea:用adaboost类似的方法,选出g,然后选出步长

image

 

Gredient Boosting for regression:

[11-3] Gradient Boosting regression_第1张图片

[11-3] Gradient Boosting regression_第2张图片

h控制方向,eta控制步长,需要对h的大小进行限制

[11-3] Gradient Boosting regression_第3张图片

对(x,残差)解regression,得到h

image

对(g(x),残差)解regression,得到eta

[11-3] Gradient Boosting regression_第4张图片

你可能感兴趣的:(boost)