xgboost原理及论文剖析

1.xgboost介绍

xgboost来源于gbdt，gbdt发挥到了极致，xgboost采用多种方法加速了训练的过程，提高了准确率，陈天奇真是人才！哦不是天才！本文是根据陈天奇的论文以及xgboost官网的ppt所总结，如果出现错误请给我留言。如果想看完整版请移步xgboost官网和论文。本文持续更新，包括推导过程，举例，xgboost架构,xgboost性能分析。如果你是新手请先学习GBDT，如果已经会了请往下看，本文是原汁官网翻译加自己分析，博主忙，可能更新较慢，保证更完

2.提升树

2.1模型和参数

在监督式的学习中我们通常是利用多维度数据xi,yi来学习一种数学结构，这个数学结构可以利用输入x预测y，这个就是model。举个例子就像是线性回归，$\hat{y}={\sum }_j{\theta }_j{x}_{i,j}$,预测的值$y_i$有多中解释，这个依赖于我们的任务是什么类型是classification or regression ,例如yi在logistic回归中它是被预测为正类的概率，同样它的意义也可以是其他，再例如是某一个rank的得分，在xgboost中就是给结构进行打分来评价树的结构的好坏.
什么是参数呢，这个就是要从数据中去发现的东西，这是一个不确定的值，通常调参方法会影响参数值，通常参数利用$\theta$来表示

2.2目标函数：损失+正则化

在训练中，需要一个标准来衡量Model 有多么的匹配data,这个标准就是目标函数，目标函数通常由两个部分组成，loss与regularization,写成数学形式就是$$obj(\theta )=L(\theta )+\Omega (\theta )$$L是损失函数，它来衡量model的预测值与真实值之间的差别，$\Omega$是正则项。常见的损失函数平方误差函数$L(\theta )={\sum }_i(y-{\hat{y}}_i{)}^2$，logistic loss 等等，正则项是用来控制模型的复杂度的，它能帮助我们防止过拟合.

2.3决策树集合

在Chen的papaer和xgboost网站中都举了一个例子来帮助我们理解xgboost模型是如何工作的：下面是判断某个人是否喜欢某个游戏的cart树集合

输入数据$x_i$每个叶子中存放的是预测得分，在决策树中仅仅是将一系列的值分裂到不同的叶子中去，而在cart中，不仅仅分裂还要给每个叶子进行打分评判，这个打分评判将会在我们的预测中使用。
上面这个仅仅是一棵树，然鹅仅仅一棵树是不足以进行精确分类的，所以需要tree ensemble。将多棵树的结果进行相加得出最终的结果，这就是xgboost使用的方法。

在上图中使用了两颗树来进行分类，你会发现两棵树是互为补充的，由此得出模型
$$\hat{y}=\sum _{k=1}^K{f}_k(x_i),f_k\in F$$
其中k代表有棵树
在2.2中说过目标函数是loss + regularization所以目标函数如下
$$L(\theta )=\sum _i^{n}l(y_i,{\hat{y}}_i)+\sum _{k=1}^K\Omega (f_k)$$后面我会专门介绍一下正则项，现在就当他是个已知的函数。

2.4提升树

现在我们首先搞明白一件事情，我们之前所学习的模型大部分要学习的参数是$\theta$然而在这里参数是f，这个f代表的是什么呢，回想一下上一节中，我们需要给叶子进行打分，那么我们打分就需要知道xi被分到了哪一个叶子中去了，这个f 就是树的结构，也将就是要学习的对象。那么问题来了，参数的学习根据以往的知识是利用GBM等等方法，学习这个f 需要什么方法呢，就是提升树。让我们来看看什么是提升树。
在每一次迭代中加入一棵新的树，设在t步的时候预测值为${\hat{y}}_i^{(t)}$,因此迭代式如下
$${\hat{y}}_i^0=0$$$${\hat{y}}_i^1=f_1(x_i)={\hat{y}}_i^0+f_1(x_i)$$
$${\hat{y}}_i^2=f_1(x_i)+f_2(x_i)={\hat{y}}_i^0+f_1(x_i)+f_2(x_i)$$$$....................$$$${\hat{y}}_i^{(t)}=f_1(x_i)+f_2(x_i)+...+f_t(x_i)={\hat{y}}_i^0+f_1(x_i)+f_2(x_i)...+f_t(x_i)$$
上面式子式子再与前面的喜欢某游戏的例子进行结合，比对是不是发现计算如出一辙。将这个结构再次带入上面提到的目标式子中去，这样就可以对目标函数进行优化了，如下
$$obj(\theta )=\sum _i^{n}l(y_i,{\hat{y}}_i)+\sum _{k=1}^K\Omega (f_i)$$$$=\sum _i^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+constant$$
你可能会疑惑为什么要加上constant，其实这个是我们新加上的树的结构的模型复杂度，这个可以利用叶子进行计算，后面会专门讲正则项。我们来看一个loss function的特例，平方损失，在大多数文献中利用MSE来指代不要疑惑，那么上面的目标就变成了$$ob{j}^t=(y_i-({\hat{y}}_i^{(t-1)}+f_t(x_i)){)}^2+\sum _{i=1}^t\Omega (f_i)$$
$$=\sum _{i=1}^n[2({\hat{y}}^{(t-1)}-y_i)f_t(x_i)+f_t(x_i{)}^2]+\Omega (f_t)+constant$$
在这个特例中出现一个很好的式子形式，${\hat{y}}^{(t-1)}-y_i$这种形式被称作残差，这个东西是GBDT中核心思想，GBDT就是不断拟合残差以减少偏差来达到目标函数的的优化的,在这里的残差是一个常数（${\hat{y}}^{(t-1)}-y_i$中每一项都在t步中已知，第一项是上一步的预测值，yi为标签值）而且在上面的式子中海油一个二次项$f_t(x_i{)}^2$，有二次项为什么好呢，有二次项可以利用我们初中一年级的知识二次函数的最大值，最小值直接进行求解，，，，，这是不是太简单了呢？很抱歉大部分的loss function并不是这么友好，像logistic loss等等并不能有这种形式，那我们如何才能搞到这么好的数学形式，对于一般形式的loss function可以用泰勒展开式进行化简，泰勒展开式如下$$f(x+\Delta x)=f(x)+f^{{}^{\prime }}(x)\Delta x+\frac{1}{2}{f}^{{}^{\prime \prime }}(x)\Delta x^2$$objective function 加入泰勒公式如下
$$obj(\theta )=\sum _i^{n}l(y_i,{\hat{y}}_i)+\sum _{k=1}^K\Omega (f_i)$$$$=\sum _i^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+constant$$$$=\sum _i^n[l(y_i,{\hat{y}}_i^{(t-1)})+l^{{}^{\prime }}(y_i,{\hat{y}}_i^{(t-1)})f_t(x_i)+\frac{1}{2}{l}^{{}^{\prime \prime }}(y_i,{\hat{y}}_i^{(t-1)})f_t^2(x_i)]+\Omega (f_t)+constant$$
这里始终要注意一件事，未知数并不是xi而是第t步的f,上面的式子中$y_i，{\hat{y}}_i^{(t-1)}$，constant都是常数(记住后面要用到常数优化)将上面的式子进一步简化$$ob{j}^{(t)}=\sum _i^n[l(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)+constant在这里h_i=l^{{}^{\prime }}(y_i,{\hat{y}}_i^{(t-1)})，g_i=l^{{}^{\prime \prime }}(y_i,{\hat{y}}_i^{(t-1)})$$
前边的Loss已经变成二次式子了，该轮到正则项了，我们前面提到过正则项的计算是根据叶子进行计算的，正则项就是对模型复杂度的惩罚，通常分为L1,L2，我们这里使用L2进行正则，每个叶子分数score值用$\omega$代表，将树的结构看做q，那么每个叶子的值就是${\omega }_{q_{(x)}}$，将每一个x映射到叶子上每一个x的打分为${\omega }_{q_{(x)}}$那么L2正则为$$\Omega (f_t)=\frac{1}{2}\lambda \sum _{j=1}^T||\omega |{|}^2$$在Chen的xgboost官网中还利用叶子数量控制项进行惩罚，$$\Omega (f_t)=\frac{1}{2}\lambda \sum _{j=1}^T||\omega |{|}^2+{\gamma }^T$$其中T是叶子的数量，至于这么做陈天奇也说过在实际的使用中证明这种正则结构是最好的，所以不必纠结为什么L2正则会加入叶子惩罚项。
在文章的一开始我说过f同样带表着树的结构的映射，将$\omega$与f进行替换j即$f_t(x)={\omega }_{q_{(x)}}$因此 $$ob{j}^{(t)}=\sum _i^n[l(y_i,{\hat{y}}_i^{(t-1)})+g_i{\omega }_{q_{(x_i)}}+\frac{1}{2}{h}_i{\omega }_{q_{(x_i)}}^2]+\Omega ({\omega }_j^2)+constant$$上文说过这个式子中有着常数，常数对于计算可以去掉，再将上面的正则项代换，所以$$ob{j}^{(t)}\approx \sum _i^n[g_i{\omega }_{q_{(x_i)}}+\frac{1}{2}{h}_i{\omega }_{q_{(x_i)}}^2]+\frac{1}{2}\lambda \sum _{j=1}^T||{\omega }_j|{|}^2+{\gamma }^T$$上面的式子中我们可以将前后两项进行合并，合并的原则是相同的叶子，因为$\omega$代表叶子，注意式子中的合并加号的变化，如下$$\sum _i^n[g_i{\omega }_{q_{(x_i)}}+\frac{1}{2}{h}_i{\omega }_{q_{(x_i)}}^2]+\frac{1}{2}\lambda \sum _{j=1}^T||{\omega }_j|{|}^2+{\gamma }^T$$$$=\sum _j^T[(\sum _{i\in I_j}{g}_i){\omega }_i+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }^2]+{\gamma }^T$$其中$I_j=\{i|q(x_i)=j\}$即数据被映射到那一片叶子上。再进一步化简，利用$G_i=({\sum }_{i\in I_j}{g}_i)$用$H_i={\sum }_{i\in I_j}{h}_i$那么式子变为
$$ob{j}^{(t)}=\sum _j^T[G_i{\omega }_i+\frac{1}{2}(H_i+\lambda ){\omega }^2]+{\gamma }^T$$由此式子算是变换完成了，接下来就优化目标函数使得obj尽可能的小，通过我们上面一系列变化使得我们的式子具有了我们开始讨论的形式，二次式,这就意味着可以使用二次函数的最大值最小值进行优化,所以极值求得如下
$${\omega }_j^{\ast }=-\frac{G_i}{H_i+\lambda }$$$$ob{j}^{\ast }=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+{\gamma }^T$$
其中obj*代表的意义是我们所建立的树结构有多么的好，值越小代表着建立的树结构越好，
上图就是计算过程，首先计算各个数据的一次导数与二次导数然后映射到各个叶子中区，最终得到Obj,就是我们的优化值，这个优化值就代表着树的好坏，我们去优化这个值就意味着优化树的结构。

建立树结构

有了优化过程，对于树的建立过程还没有介绍，这里说一下树的建立过程，在GBDT中使用的是MSE，然鹅在这里我们使用的是一种类似信息增益的东西，如下
$$Gain=[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(GL+G_R{)}^2}{(H_L+H_R)+\lambda }]-\gamma$$上面第一项是左边叶子的obj，第二项是右边叶子的obj，第三项是左右节点的父亲节点。假设我们的分裂条件是$x_{i,m}<N$其中i代表第i个数据，m代表第m个属性，也就是列维度，分裂的过程是这样的遍历所有在将要分裂节点的数据,按照$x_{i,m}<N$假设性分裂计算每一维度的g,h最终计算Gain,选择第i个数据的第m维度的数据为分裂的依据,将大于分裂依据的分到一个叶子，小于的分到一边，计算左右Gain，计算父亲gain，相减。还有一项$\gamma$的意思是为了控制分裂的条件，如果Gain小于0则不进行分裂，如果大于0选择增益最大的分裂依据进行分裂。因为选择obj最小的。
一般来说我们选择分裂依据的时候数据都是经过排序的，否则将会是一项大工程，排序后选择数据就好选择了。

今天继续更新

3.xgboost举例

例子采用的是鸢尾花数据集，机器学习新手都是拿这个数据集来进行练手的，csdn的表格插入太麻烦,我用exel

设置一下超参数,建立两棵树,深度为3，树的数量为2，learning rate=0.1,在xgboost中有一个值叫做base_score它是我们的$\hat{y}$的初始值,在google之后我发现它的默认值是0.5，并且在实际应用中是一个不错的选择，相关参考https://github.com/dmlc/xgboost/issues/799。回到正题，在上面的表格中有大量的string类型的值,我们首先对其进行one-hot处理,我们只做二分类，多分类手动算不来。。。，鸢尾花数据集有一个特性，在做线性分类的时候只有两种是线性可分的我们就用xgboost来模拟线性分类如下

二分类使用的是交叉熵，与sigmoid函数如下
交叉熵：$$L(y_i,h_i)=-y_{i}l{n}_{h_i}-(1-y_i)ln(1-h_i)$$,有的可能写作log，这个取决于似然估计,在似然估计中你用什么了，可以补一下似然估计？算了有空再写一篇。。
其中hi是输入值,在xgboost中是sigmoid函数(多谢一位老哥博客才知道是sigmoid值，博客地址在参考中)输出我们将sigmoid带入,计算它的一阶导数，二阶导数，因为xgboost中利用导数求导如下,未知数为$$\hat{y}=z$$(带帽的y难打出来)
$$L^{\prime }(y_i,\frac{1}{1+e^{-z}})=d\{-y_{i}ln\frac{1}{1+e^{-z}}-(1-y_i)ln(1-\frac{1}{1+e^{-z}})\}/dz$$
将上面括号中拿出来化简
$$-y_{i}ln\frac{1}{1+e^{-z}}-(1-y_i)ln(1-\frac{1}{1+e^{-z}})$$
$$=y_{i}ln(1+e^{-z})-(1-y_i)ln(\frac{e^{-z}}{1+e^{-z}})$$
$$=y_{i}ln(1+e^{-z})-(1-y_i)[ln{e}^{-z}-ln(1+e^{-z})]$$
$$=y_{i}ln(1+e^{-z})-[ln{e}^{-z}-ln(1+e^{-z})-y_{i}ln{e}^{-z}+y_{i}ln(1+e^{-z})]$$
$$=ln{e}^z+ln(1+e^{-z})-z{y}_i$$
$$=ln(1+e^z)-z{y}_i$$
对上述式子对z求导得
$$\frac{e^z}{1+e^z}-y_i$$
$$=\frac{1}{1+e^{-z}}-y_i=\frac{1}{1+e^{-\hat{y}}}-y_i$$二阶导数如下
$$=\frac{e^{-\hat{y}}}{(1+e^{-\hat{y}}{)}^2}=\frac{1}{1+e^{-\hat{y}}}\ast (1-\frac{1}{1+e^{-\hat{y}}})$$参考的博客 将上述sigmoid换为$y_{i,pre}$是不是更好看
一阶导数$y_{i,pre}-y_i$二阶导数$y_{i,pre}\ast (1-y_{i,pre})$,如果设置base_score的默认值0.5，那么我们的起始的$\hat{y}=0$,这个你可以反向推导令sigmoid=0.5，我们设置所有数据的$y_{i,pre}$为0.5，求解所有数据的一阶导数，二阶导数如下：

接下来就是利用Gain值进行节点的分裂，先从特征sepal.Length开始挨个作为分裂值计算Gain,取第一个值5.1，大于等于5.1放在一个节点，小于的放在一个节点。

未完成，明日更新。2020.3.20
参考

1. https://xgboost.readthedocs.io/en/latest/tutorials/model.html
2. https://blog.csdn.net/anshuai_aw1/article/details/82970489#51_min_child_weight__435