【机器学习】XGBoost 原理及调参指南 整理

XGBoost

XGBoost能自动利用cpu的多线程，而且适当改进了gradient boosting，加了剪枝，控制了模型的复杂程度

• 传统GBDT以CART作为基分类器，特指梯度提升决策树算法，而XGBoost还支持线性分类器(gblinear)，这个时候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。

• 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。

• xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。

• xgboost中树节点分裂时所采用的公式：

• Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（传统GBDT的实现也有学习速率）

• 列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。

• 对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。

• xgboost工具支持并行。注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。(特征粒度上的并行，block结构，预排序)

• 这个公式形式上跟ID3算法、CART算法是一致的，都是用分裂后的某种值减去分裂前的某种值，从而得到增益。为了限制树的生长，我们可以加入阈值，当增益大于阈值时才让节点分裂，上式中的gamma即阈值，它是正则项里叶子节点数T的系数，所以xgboost在优化目标函数的同时相当于做了预剪枝。另外，上式中还有一个系数lambda，是正则项里leaf score的L2模平方的系数，对leaf score做了平滑，也起到了防止过拟合的作用，这个是传统GBDT里不具备的特性。

• XGBoost实现层面

• 内置交叉验证方法

• 能够输出特征重要性文件辅助特征筛选

XGBoost优势小结：

• 显式地将树模型的复杂度作为正则项加在优化目标

• 公式推导里用到了二阶导数信息，而普通的GBDT只用到一阶

• 允许使用列抽样(column(feature) sampling)来防止过拟合，借鉴了Random Forest的思想，sklearn里的gbm好像也有类似实现。

• 实现了一种分裂节点寻找的近似算法，用于加速和减小内存消耗。

• 节点分裂算法能自动利用特征的稀疏性。

• 样本数据事先排好序并以block的形式存储，利于并行计算

• penalty function Omega主要是对树的叶子数和叶子分数做惩罚，这点确保了树的简单性。

• 支持分布式计算可以运行在MPI，YARN上，得益于底层支持容错的分布式通信框架rabit。

 

XGBoost算法已经成为数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。
构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现，调参很困难。

一、xgBoost优势

XGBoost算法可以给预测模型带来能力的提升。当你对它的高准确率背后的原理有更多了解的时候，就会发现它具有很多优势：

1 正则化

    标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。
    实际上，XGBoost以“正则化提升(regularized boosting)”技术而闻名。

2 并行处理

    XGBoost可以实现并行处理，相比GBM有了速度的飞跃。
    然而，Boosting算法是顺序处理的，它是如何并行的呢？
    每一课树的构造都依赖于前一棵树，那具体是什么让我们能用多核处理器去构造一个树呢？
    XGBoost 也支持Hadoop实现。

3 高度的灵活性

    XGBoost 允许用户定义自定义优化目标和评价标准
    它对模型增加了一个全新的维度，所以我们的处理不会受到任何限制。

4 缺失值处理

    XGBoost内置处理缺失值的规则。
    用户需要提供一个和其它样本不同的值，然后把它作为一个参数传进去，以此来作为缺失值的取值。
    XGBoost在不同节点遇到缺失值时采用不同的处理方法，并且会学习未来遇到缺失值时的处理方法。

5 剪枝

    当分裂时遇到一个负损失时，GBM会停止分裂。因此GBM实际上是一个贪心算法。
    XGBoost会一直分裂到指定的最大深度(max_depth)，然后回过头来剪枝。如果某个节点之后不再有正值，它会去除这个分裂。
    这种做法的优点，当一个负损失（如-2）后面有个正损失（如+10）的时候，就显现出来了。
    GBM会在-2处停下来，因为它遇到了一个负值。但是XGBoost会继续分裂，然后发现这两个分裂综合起来会得到+8，
    因此会保留这两个分裂。

6 内置交叉验证

    XGBoost允许在每一轮boosting迭代中使用交叉验证。因此，可以方便地获得最优boosting迭代次数。
    而GBM使用网格搜索，只能检测有限个值。

7、在已有的模型基础上继续

    XGBoost可以在上一轮的结果上继续训练。这个特性在某些特定的应用上是一个巨大的优势。
    sklearn中的GBM的实现也有这个功能，两种算法在这一点上是一致的。

相信你已经对XGBoost强大的功能有了点概念。

 

二、XGBoost的参数

XGBoost的作者把所有的参数分成了三类：

1. 通用参数：宏观函数控制。
2. Booster参数：控制每一步的booster(tree/regression)。
3. 学习目标参数：控制训练目标的表现。

在这里会类比GBM来讲解，所以作为一种基础知识，强烈推荐先阅读这篇文章。

1 通用参数

这些参数用来控制XGBoost的宏观功能。

1、booster[默认gbtree]

• 选择每次迭代的模型，有两种选择： 
  gbtree：基于树的模型 
  gbliner：线性模型

2、silent[默认0]

• 当这个参数值为1时，静默模式开启，不会输出任何信息。
• 一般这个参数就保持默认的0，因为这样能帮我们更好地理解模型。

3、nthread[默认值为最大可能的线程数]

• 这个参数用来进行多线程控制，应当输入系统的核数。
• 如果你希望使用CPU全部的核，那就不要输入这个参数，算法会自动检测它。

还有两个参数，XGBoost会自动设置，目前你不用管它。接下来咱们一起看booster参数。

2 booster参数

尽管有两种booster可供选择，我这里只介绍tree booster，因为它的表现远远胜过linear booster，所以linear booster很少用到。

1、eta[默认0.3]

• 和GBM中的 learning rate 参数类似。
• 通过减少每一步的权重，可以提高模型的鲁棒性。
• 典型值为0.01-0.2。

2、min_child_weight[默认1]

• 决定最小叶子节点样本权重和。
• 和GBM的 min_child_leaf 参数类似，但不完全一样。XGBoost的这个参数是最小样本权重的和，而GBM参数是最小样本总数。
• 这个参数用于避免过拟合。当它的值较大时，可以避免模型学习到局部的特殊样本。
• 但是如果这个值过高，会导致欠拟合。这个参数需要使用CV来调整。

3、max_depth[默认6]

• 和GBM中的参数相同，这个值为树的最大深度。
• 这个值也是用来避免过拟合的。max_depth越大，模型会学到更具体更局部的样本。
• 需要使用CV函数来进行调优。
• 典型值：3-10

4、max_leaf_nodes

• 树上最大的节点或叶子的数量。
• 可以替代max_depth的作用。因为如果生成的是二叉树，一个深度为n的树最多生成n2n2个叶子。
• 如果定义了这个参数，GBM会忽略max_depth参数。

5、gamma[默认0]

• 在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。
• 这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。

6、max_delta_step[默认0]

• 这参数限制每棵树权重改变的最大步长。如果这个参数的值为0，那就意味着没有约束。如果它被赋予了某个正值，那么它会让这个算法更加保守。
• 通常，这个参数不需要设置。但是当各类别的样本十分不平衡时，它对逻辑回归是很有帮助的。
• 这个参数一般用不到，但是你可以挖掘出来它更多的用处。

7、subsample[默认1]

• 和GBM中的subsample参数一模一样。这个参数控制对于每棵树，随机采样的比例。
• 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。
• 典型值：0.5-1

8、colsample_bytree[默认1]

• 和GBM里面的max_features参数类似。用来控制每棵随机采样的列数的占比(每一列是一个特征)。
• 典型值：0.5-1

9、colsample_bylevel[默认1]

• 用来控制树的每一级的每一次分裂，对列数的采样的占比。
• 我个人一般不太用这个参数，因为subsample参数和colsample_bytree参数可以起到相同的作用。但是如果感兴趣，可以挖掘这个参数更多的用处。

10、lambda[默认1]

• 权重的L2正则化项。(和Ridge regression类似)。
• 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。

11、alpha[默认1]

• 权重的L1正则化项。(和Lasso regression类似)。
• 可以应用在很高维度的情况下，使得算法的速度更快。

12、scale_pos_weight[默认1]

• 在各类别样本十分不平衡时，把这个参数设定为一个正值，可以使算法更快收敛。

3学习目标参数

这个参数用来控制理想的优化目标和每一步结果的度量方法。

1、objective[默认reg:linear]

• 这个参数定义需要被最小化的损失函数。最常用的值有： 
  • binary:logistic 二分类的逻辑回归，返回预测的概率(不是类别)。
  • multi:softmax 使用softmax的多分类器，返回预测的类别(不是概率)。 
    • 在这种情况下，你还需要多设一个参数：num_class(类别数目)。
  • multi:softprob 和multi:softmax参数一样，但是返回的是每个数据属于各个类别的概率。

2、eval_metric[默认值取决于objective参数的取值]

• 对于有效数据的度量方法。
• 对于回归问题，默认值是rmse，对于分类问题，默认值是error。
• 典型值有： 
  • rmse 均方根误差(∑Ni=1ϵ2N−−−−−√∑i=1Nϵ2N)
  • mae 平均绝对误差(∑Ni=1|ϵ|N∑i=1N|ϵ|N)
  • logloss 负对数似然函数值
  • error 二分类错误率(阈值为0.5)
  • merror 多分类错误率
  • mlogloss 多分类logloss损失函数
  • auc 曲线下面积

3、seed(默认0)

• 随机数的种子
• 设置它可以复现随机数据的结果，也可以用于调整参数

python的XGBoost模块有sklearn包。包中的参数是按sklearn风格命名。会改变的函数名是：

1、eta -> learning_rate 
2、lambda -> reg_lambda 
3、alpha -> reg_alpha

推荐阅读：

XGBoost Parameters (official guide) 
XGBoost Demo Codes (xgboost GitHub repository) 
Python API Reference (official guide)

spark maven 项目配置

scala：2.11.0

jdk：1.8

xgboost：0.72

spark：必须要2.3.0及其以上，否则会出千奇百怪的错

    1.8
    2.3.0
    2.7.3

    
        ml.dmlc
        xgboost4j
        0.72
    
    
        ml.dmlc
        xgboost4j-spark
        0.72
    

import ml.dmlc.xgboost4j.scala.spark.XGBoost
import org.apache.log4j.{Level, Logger}
import org.apache.spark.ml.feature._
import org.apache.spark.sql._
 
 
 
object myCallXGBoost {
  Logger.getLogger("org").setLevel(Level.WARN)
 
  def main(args: Array[String]): Unit = {
    val inputPath = "/Users/01376233/IdeaProjects/myxgboost/src/main/data"
 
    // create SparkSession
    val spark = SparkSession
      .builder()
      .appName("SimpleXGBoost Application")
      .config("spark.executor.memory", "2G")
      .config("spark.executor.cores", "4")
      .config("hive.metastore.uris","thrift://10.202.77.200:9083")
      .config("spark.driver.memory", "1G")
      .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      .config("spark.default.parallelism", "4")
      .enableHiveSupport()
      //.master("local[*]")
      .getOrCreate()
 
    //从csv中读取数据
    //val myTrainCsv = spark.read.option("header", "true").option("inferSchema", true).csv(inputPath + "/my_train.csv")
    //val myTestCsv = spark.read.option("header", "true").option("inferSchema", true).csv(inputPath + "/my_test.csv")
 
    //从hive中读取数据
    val myTrainCsv = spark.sql("select * from dm_analysis.lsm_xgboost_train")
    val myTestCsv = spark.sql("select * from dm_analysis.lsm_xgboost_test")
 
 
 
    //println(myTrainCsv.getClass.getSimpleName)      //Dataset
    //sys.exit()
    //myTrainCsv.show(10)
 
    //把特征转化为一个vector
    //将多列的特征转化为一个vector，这个vector叫features
    val vectorAssembler = new VectorAssembler()
      .setInputCols(Array("iswork","rank","cntLag1","cntLag2","Monday",
        "Saturday","Sunday","Thursday","Tuesday","Wednesday",
        "August","December","February","January","July","June","March"
        ,"May","November","October","September","lateMonth","midMonth"))
      .setOutputCol("features")
 
 
    val xGBoostTrainInput = vectorAssembler.transform(myTrainCsv).drop("_c0").withColumnRenamed("cnt","label").select("features", "label")
 
    val xGBoostTestInput = vectorAssembler.transform(myTestCsv).select("features")
    xGBoostTestInput.show(10)
    //sys.exit()
 
    //sys.exit()
    // number of iterations
    val numRound = 10
    val numWorkers = 4
    // training parameters
    val paramMap = List(
      "colsample_bytree" -> 1,
      "eta" -> 0.05f,                        //就是学习率
      "max_depth" -> 8,                       //树的最大深度
      "min_child_weight" -> 5,                //
      "n_estimators" -> 120,
      "subsample" -> 0.7
      ).toMap
 
 
    println("Starting Xgboost ")
 
    //val a = new XGBoostRegressionModel
 
    val xgBoostModel = XGBoost.trainWithDataFrame(xGBoostTrainInput, paramMap, round = 10, nWorkers = 4, useExternalMemory = true)
 
    val output = xgBoostModel.transform(xGBoostTestInput)
 
    output.show()
  }
}