XGBoost

XGBoost

假设一共有$m$个基模型，分别为$f_1(x),f_2(x),\dots ,f_m(x)$，$n$个样本，$x_1,x_2,\dots ,x_n$，则XGBoost模型的损失函数、正则项和目标函数分别为：
$$\begin{array}{c}L=\sum _{i=1}^n\ell (y_i,{\hat{y}}_i^{(m)}),R=\sum _{i=1}^m\Omega (f_i)\\ Obj=L+R=\sum _{i=1}^n\ell (y_i,{\hat{y}}_i^{(m)})+\sum _{i=1}^m\Omega (f_i)\end{array}$$
第$t$步的目标函数为：
$$\begin{array}{rl}Obj& =\sum _{i=1}^n\ell (y_i,{\hat{y}}_i^{(t)})+\sum _{i=1}^t\Omega (f_i)\\ & =\sum _{i=1}^n\ell (y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\sum _{i=1}^{t-1}\Omega (f_i)+\Omega (f_t)\\ & =\sum _{i=1}^n\ell (y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+C\end{array}$$
因为$C$是一个常数，所以可以直接扔掉。我们的目标是最优化目标函数，方式是通过引入新的一个基模型$f_t(x)$，所以要研究$f_t(x)$对于每一个样本具体取怎样的值能够使目标函数值降低，换句话说就是，$f_t(x_i)$该在损失函数$l$的第二个分量上往前或往后走多少？由此我们想到Taylor展开，Taylor展开其实就是表示自变量变化一定值后函数值的变化。将目标函数进行二阶展开来近似可以得到：
$$\begin{array}{rl}\mathrm{Obj}& \approx \sum _{i=1}^n\left[\ell (y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+\Omega (f_t)\\ & =\sum _{i=1}^n\left[\frac{1}{2}{h}_i{f}_t^2(x_i)+g_i{f}_t(x_i)\right]+\Omega (f_t)+\sum _{i=1}^n\ell (y_i,{\hat{y}}_i^{(t-1)})\end{array}$$
其中：
g i = ∂ ℓ ( y i , z ) ∂ z ∣ z = y ^ i ( t − 1 ) , h i = ∂ 2 ℓ ( y i , z ) ∂ z 2 ∣ z = y ^ i ( t − 1 ) \begin{equation*} g_i=\frac{\partial \ell(y_i,z)}{\partial z}\Big|_{z=\hat{y}_i^{(t-1)}},\quad h_i=\frac{\partial^2 \ell(y_i,z)}{\partial z^2}\Bigl|_{z=\hat{y}_i^{(t-1)}} \end{equation*} gi​=∂z∂ℓ(yi​,z)​ ​z=y^​i(t−1)​​,hi​=∂z2∂2ℓ(yi​,z)​ ​z=y^​i(t−1)​​​
考虑到此时已经拟合成功了$t-1$个基模型，上式最后一项是一个常数，所以也可以扔掉，于是我们的目标函数变为了：
$$\begin{array}{c}\mathrm{Obj}=\sum _{i=1}^n\left[\frac{1}{2}{h}_i{f}_t^2(x_i)+g_i{f}_t(x_i)\right]+\Omega (f_t)\end{array}$$

抽象到具体

上面我们进行的讨论都带着$f_t$，$f_t$是一个抽象的模型，接下来要选择一个具体的基模型去讨论，也就是说，我们得选择一个具体的基模型去训练，用这个目标函数去指导基模型的最优化问题。在原始论文中陈天奇选择了回归决策树模型，接下来我们也使用该模型去进行介绍。
陈天奇在回归决策树模型中使用了如下的正则项：
$$\begin{array}{c}\Omega (f)=\gamma T+\lambda \sum _{i=1}^T{\omega }_i^2\end{array}$$
其中$\gamma ,\lambda$是控制惩罚强度的超参数，$T$是模型叶节点的数量，${\omega }_i$是这棵树第$i$个叶节点的输出值。记$q(x)$为一个函数，它将样本$x$映射到$x$属于的叶节点的编号，也就是说$q(x_i)=j$表示$x_i$这个样本最后被划分到了树的第$j$个叶节点，该样本的训练输出值为${\omega }_j$。记$I_j=\{i:q(x_i)=j\}$，于是上述的抽象目标函数在回归决策树下的具体目标函数为：
Obj ⁡ = ∑ i = 1 n [ 1 2 h i f t 2 ( x i ) + g i f t ( x i ) ] + Ω ( f t ) = ∑ i = 1 n [ 1 2 h i w q ( x i ) 2 + g i w q ( x i ) ] + γ T + λ ∑ i = 1 T ω i 2 = ∑ j = 1 T [ 1 2 ( ∑ i ∈ I j h i + λ ) w j 2 + ( ∑ i ∈ I j g i ) ω j ] + γ T \begin{align*} \operatorname{Obj} &=\sum_{i=1}^{n}\left[\frac{1}{2}h_if_t^2(x_i)+g_if_t(x_i)\right]+\Omega(f_t) \\ &=\sum_{i=1}^{n}\left[\frac{1}{2}h_iw_{q(x_i)}^2+g_iw_{q(x_i)}\right]+\gamma T+\lambda\sum_{i=1}^{T}\omega_i^2 \\ &=\sum_{j=1}^{T}\left[\frac{1}{2}\left(\sum_{i\in I_j}h_i+\lambda\right)w_j^2+\left(\sum_{i\in I_j}g_i\right)\omega_j\right]+\gamma T \end{align*} Obj​=i=1∑n​[21​hi​ft2​(xi​)+gi​ft​(xi​)]+Ω(ft​)=i=1∑n​[21​hi​wq(xi​)2​+gi​wq(xi​)​]+γT+λi=1∑T​ωi2​=j=1∑T​ ​21​ ​i∈Ij​∑​hi​+λ ​wj2​+ ​i∈Ij​∑​gi​ ​ωj​ ​+γT​