【树模型与集成学习】(task6)梯度提升树GBDT+LR

学习总结

（1）不同问题的提升树学习算法，主要区别在于使用的损失函数不同，如用平方误差损失函数的回归问题、用指数损失函数的分类问题、用一般损失函数的一般决策问题等。

（2）不管是二分类问题的提升树，还是回归问题的提升树，这里的损失函数都很方便：前者是用指数损失函数，所以可以当做是Adaboost的个例，Aadaboost的流程；而后者是当使用平方误差损失时，可以直接拟合残差。

而使用不同的损失函数，对应的凸优化问题不同，现在我们希望找到一个通用的方式，求解一般性凸优化问题——GBDT就是用来解决该问题（大体过程如上图）。

由于GBDT是利用残差训练的（用负梯度去拟合残差），在预测的过程中，我们也需要把所有树的预测值加起来，得到最终的预测结果。

（3）我们把以决策树为基础的一系列模型统称为树模型，也是 AI 比赛中最常用的模型。

• 决策树经历了三次改进，ID3、C4.5、CART，主要区别在于一个根据信息增益划分特征、一个根据信息增益率、一个根据基尼指数。
• 随机森林=决策树+Bagging集成学习
• GBDT=决策树+AdaBoost集成学习
• XGB是陈天奇2014年提出，相当于GBDT的工程改进版，在实用性和准确度上有很大提升。比如：使用泰勒二阶展开近似损失函数，支持处理缺失值、在特性粒度上并行计算等等特性。

（4）Gradient Boosting是Boosting中的一大类算法，基本思想是根据当前模型损失函数的负梯度信息来训练新加入的弱分类器，然后将训练好的弱分类器以累加 的形式结合到现有模型中。在每 一轮迭代中，首先计算出当前模型在所有样本上的负梯度，然后以该值为目标训练一个新的弱分类器进行拟合并计算出该弱分类器的权重，最终实现对模型的更新。