【机器学习算法】XGBoost原理

一、基本内容

• 基本内容：GBDT的基础上，在损失函数上加入树模型复杂度的正则项

与GBDT一样，也是使用新的弱学习器拟合残差（当前模型负梯度，残差方向）

• GBDT损失函数

$$Loss=\sum _{i=1}^{N}L(y_i,y_i^t)$$

• XGboost损失函数

$$Loss=\sum _{i=1}^{S}L(y_i,y_i^t)+\sum _{j=1}^N\Omega (f_j))$$

• 正则项

$$\Omega (f_t))=\gamma L+\frac{1}{2}\lambda \sum _{j=1}^L{\omega }_j^2$$

其中，$L$表示当前弱学习器的叶子节点个数，$\gamma ,\lambda$表示惩罚项，${\omega }_j$表示当前弱学习器的叶子节点$j$值。

二、目标函数优化

​ 弱学习器损失函数可以写为：
$$Loss=\gamma N+\sum _{j=1}^L【\sum _{i=1}^N(L(y_i,y_i^t))+\frac{1}{2}\lambda {\omega }_j^2)】$$
​ 其中， y i t = y i t − 1 + ω j y_i^t = y_i^{t-1}+\omega_j yit​=y