提升方法(boost)

提升方法(boost)

  提升方法(boost)的基本思路就是学习一堆弱学习器(精度低)，组合成一个强学习器(精度高)，即把弱学习方法"提升"为强学习方法。所以有两个问题贯彻提升方法整个过程，第一个问题是如何学习每个弱学习器，使得各个弱学习器可以优劣互补，例如可以改变弱学习器学习过程中的训练数据的权值分布或概率分布；第二个问题是如何组合成一个强学习器，例如简单的加法模型。

1. 前向分步算法

  先介绍前方分步算法(forward stagewise algorithm)，前向分步算法是adaboost与提升树的基础。前向分步算法若按统计学习方法三要素看，属于三要素中的学习要素，但隐含的也限定了模型要素为加法模型(加权加法模型)，并未对策略要素中的损失函数做出要求。
  前方分步算法比较简单，其主要思想是通过分步的方法，化简优化问题。直接看其算法流程如下：

1.1. 算法流程

输入：训练数据$T=\{(x_1,y_1),(x_2,y_2)\dots (x_N,y_N)\}$；弱学习器集合$\{b_1(x;\gamma ),b_2(x;\gamma )\dots b_M(x;\gamma )\}$，$\gamma$为相应弱学习器的模型参数；损失函数$L(y,f(x))$。
输出：强学习器$F(x)$。
执行流程：

1. 初始化$b_0(x)=0$。
2. 对每个弱学习器$b_m(x)，m=1,2\dots M$，前m-1个弱学习器已经确定，按$$arg\underset{\gamma ,{\beta }_m}{\min }\sum _{i=1}^{N}L(y_i,\sum _{j=0}^{m-1}{\beta }_j{b}_j(x_i)+{\beta }_m{b}_m(x_i;\gamma ))$$学习$b_m(x)$的模型参数$\gamma$以及系数参数${\beta }_m$，可以看成$b_m(x)$学习了前m-1个学习器与实际输出的误差。
3. 得到加权模型$$F(x)=\sum _{j=1}^M{\beta }_j{b}_j(x)$$

  这样，前向分步算法就把一次求解M个$\beta$与$\gamma$的问题($2M$个变量的一个优化问题)，化简为分步求解$M$个优化问题中的$\beta$与$\gamma$(2个变量的优化问题)。

---

2. adaboost

  adaboost(adaptive boost，适应提升方法)是一种十分有代表性的提升方法，它能适应弱学习器各自的训练误差率。adaboost最初只适用于二分类问题，Schapire与Singer将它扩展到多分类问题。
  还以二分类问题为例，adaboost算法通过降低前一轮弱分类器学习过程中被正确分类的数据的权重，提高前一轮弱分类器学习过程中被误分类的数据权重，使得被误分类的数据在后一轮弱分类器的学习中被重点关注；adaboost通过加权求和的方法组合弱分类器，分类误差低的弱分类器权重高，分类误差高的弱分类器权重低。所以整个过程有两套权重，数据的权重以及弱分类器的权重。

2.1. 算法流程

输入：训练数据$T=\{(x_1,y_1),(x_2,y_2)\dots (x_N,y_N)\}$；弱分类器集合$\{b_1(x;\gamma ),b_2(x;\gamma )\dots b_M(x;\gamma )\}$，$b_m(x)$输出就是弱分类器的分类结果，$\gamma$为相应弱分类器的模型参数；损失函数$L(y,f(x))$。
输出：强分类器$F(x)$。
执行流程：

1. 初始化数据权重$D=\{{\omega }_1,{\omega }_2\dots {\omega }_N\}=\{\frac{1}{N},\frac{1}{N}\dots \frac{1}{N}{\}}_{1\ast N}$；
2. 对每个弱分类器$b_m(x)，m=1,2\dots M$，前m-1个弱分类器已经确定，使用带权值的数据训练基本分类器$b_m(x)$，计算其误差$$e_m=\sum _{i=1}^N{\omega }_{mi}(I(y_i̸=b_m(x_i;\gamma )))$$ 其中${\omega }_{mi}$表示第$m$个弱分类器对第$i$条数据的权重，$I(\cdot )$为指示函数；
3. 计算$b_m(x)$的弱分类器权重${\alpha }_m$如下，对数以2为底，$${\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
4. 更新数据权重参数如下$${\omega }_{m+1,i}=\frac{{\omega }_{mi}}{Z_m}\exp (-{\alpha }_m{y}_i{b}_m(x_i))\text{\hspace{1em}(1)}$$$$Z_m=\sum _{i=1}^N{\omega }_{mi}\exp (-{\alpha }_m{y}_i{b}_m(x_i))\text{\hspace{1em}(2)}$$
5. 若$m̸=M$，令$m=m+1$，递归回到步骤2；
6. 最终得到强分类器$$f(x)=\sum _{i=1}^M{\alpha }_i{b}_i(x)$$$$F(x)=sign(f(x))=sign(\sum _{i=1}^M{\alpha }_i{b}_i(x))$$

  从步骤2的角度看，adaboost用的是0-1损失函数，但是从前向分步算法看，adaboost用的指数损失函数，后面会详细说明。
  在详细说一下步骤2中，"使用带权值的数据"的含义，最初看到这里一直不太清楚其含义，《统计学习方法》中给的adaboost的例子甚至可能会误导你，让你觉得步骤2的学习依据是$e_m=arg\underset{\gamma }{\min }\sum _{i=1}^N{\omega }_{mi}(I(y_i̸=b_m(x_i;\gamma )))$。其实当你详细看sklearn中的分类方法时，分类器的学习往往是包含权重的，在sklearn中样本权重sample_weight一般在类方法fit中传入，笔者看了一下CART分类树方法如何使用带权重的数据，这一过程在类criterion中实现，大体就是，如果sample_weight=None，则每条记录带的权重$w=1$，如果sample_weight$̸=$None，则每条记录的权重$w$就是传入的权重，在计算基尼指数时，概率的极大似然估计其实是用的$w$，即$\frac{w的和}{w的和}$。下面给出了sklearn中，继承了criterion类的ClassificationCriterion类的init()类方法中关于权值的使用，sample_weight即是传入的样本权值列表。

        for p in range(start, end):
            i = samples[p]

            # w is originally set to be 1.0, meaning that if no sample weights
            # are given, the default weight of each sample is 1.0
            if sample_weight != NULL:
                w = sample_weight[i]

            # Count weighted class frequency for each target
            for k in range(self.n_outputs):
                c =  y[i * y_stride + k]
                sum_total[k * self.sum_stride + c] += w

            self.weighted_n_node_samples += w

  在看一下$e_m$与${\alpha }_m$，不难看出$e_m\in [0,1]$，${\alpha }_m\in [-\infty ,\infty ]$，$e_m$增大，${\alpha }_m$会随之变小。当误差$e_m$较大，说明$b_m(x)$不够好，${\alpha }_m$较小，$b_m(x)$在最终分类器的权值也会较小，同时看步骤4中的参数更新，当${\alpha }_m$较小，$exp(-{\alpha }_m{y}_i{b}_m(x_i))$趋于1，${\omega }_{m+1,i}$会近似等于${\omega }_{m,i}$，可见前一个弱分类器效果不好，会近似地延用数据权重到后一个弱分类器。这样的设计很巧妙。极端情况下，$e_m=0或1$，${\alpha }_m=\infty 或-\infty$，说明弱分类器十分可靠或者反向十分可靠；当$e_m=0.5$，${\alpha }_m=0$，说明弱分类器十分不可靠。
  $F(x)$的符号决定实例x的类，$F(x)$的绝对值表示分类的确信度。

2.2. adaboost的误差分析

  adaboost的本质是在学习过程中不断减少训练误差。关于其训练误差上界，有如下定理：
$$\frac{1}{N}\sum _{i=1}^{N}I(F(x_i)̸=y_i)\le \frac{1}{N}\sum _{i=1}^N\exp (-y_{i}f(x_i))=\prod _{m=1}^M{Z}_m$$

证明：
当$F(x_i)=y_i$，$I(F(x_i)̸=y_i)=0\le \exp (-y_{i}f(x_i))$
当$F(x_i)̸=y_i$，$-f(x_i)\cdot y_i>0$，$I(F(x_i)̸=y_i)=1\le \exp (-y_{i}f(x_i))$
所以$I(F(x_i)̸=y_i)\le \exp (-y_{i}f(x_i))$。第一个不等式证毕，下面证明第二个等式。
需要用到${\omega }_{1i}=\frac{1}{N}$以及$(1)$式${\omega }_{m+1,i}=\frac{{\omega }_{mi}}{Z_m}\exp (-{\alpha }_m{y}_i{b}_m(x_i))$，和其等价变换$$Z_m{\omega }_{m+1,i}={\omega }_{mi}\exp (-{\alpha }_m{y}_i{b}_m(x_i))\text{\hspace{1em}(3)}$$

$\begin{array}{rl}\frac{1}{N}\sum _{i=1}^N\exp (-y_{i}f(x_i))& =\frac{1}{N}\sum _{i=1}^N\exp (-y_i\sum _{j=1}^M{\alpha }_j{b}_j(x_i))\\ & =\sum _{i=1}^N{\omega }_{1i}\exp (-y_i\sum _{j=1}^M{\alpha }_j{b}_j(x_i))\\ & =\sum _{i=1}^N{\omega }_{1i}\prod _{j=1}^M\exp (-y_i{\alpha }_j{b}_j(x_i))\\ & =\sum _{i=1}^N{Z}_1{\omega }_{2i}\prod _{j=2}^M\exp (-y_i{\alpha }_j{b}_j(x_i))\\ & =\sum _{i=1}^N{Z}_1{Z}_2{\omega }_{3i}\prod _{j=3}^M\exp (-y_i{\alpha }_j{b}_j(x_i))\\ & \dots \\ & =\sum _{i=1}^N{Z}_1{Z}_2\dots Z_{M-1}{\omega }_{M,i}\prod _{j=M}^M\exp (-y_i{\alpha }_j{b}_j(x_i))\\ & =Z_1{Z}_2\dots Z_{M-1}\sum _{i=1}^N{\omega }_{M,i}\exp (-y_i{\alpha }_M{b}_M(x_i))\\ 由(2)式知& \\ & =Z_1{Z}_2\dots Z_{M-1}{Z}_M=\prod _{m=1}^M{Z}_m\end{array}$
证毕

  由定理可知，我们只要降低每一个弱分类器的$Z_m$，就可以降低整体误差的上限，而$Z_m$长$(2)$式那样，从(2)式的直观来看，$Z_m$变小要求每个弱分类器分类误差$e_m$尽量的小，因为分类误差变小，$y_i{b}_m(x_i)>0$的频率更大，由前面分析知${\alpha }_m$随$e_m$变小而变大，所以$\exp (-y_i{\alpha }_m{b}_m(x_i))$整体是在变小的，进而造成$Z_m$变小。
  特别的，对于二元分类器，设输出结果为$\{1,-1\}$，则可以进一步推导定理如下：
$$\prod _{m=1}^M{Z}_m=\prod _{m=1}^M(2\sqrt{e_m(1-e_m)})=\prod _{m=1}^M\sqrt{1-4{\gamma }_m^2}\le \exp (-2\sum _{m=1}^M{\gamma }_m^2)$$

$${\gamma }_m=\frac{1}{2}-e_m$$

证明：
$\begin{array}{rl}\prod _{m=1}^M{Z}_m& =\prod _{m=1}^M\sum _{i=1}^N{\omega }_{mi}\exp (-{\alpha }_m{y}_i{b}_m(x_i))\\ & =\prod _{m=1}^M(\sum _{y_i=b_m(x_i)}{\omega }_{mi}\exp (-{\alpha }_m)+\sum _{y_i̸=b_m(x_i)}{\omega }_{mi}\exp ({\alpha }_m))\\ & =\prod _{m=1}^M(e^{-{\alpha }_m}\sum _{y_i=b_m(x_i)}{\omega }_{mi}+e^{{\alpha }_m}\sum _{y_i̸=b_m(x_i)}{\omega }_{mi})\\ & 由2.1中，步骤2中e_m定义式，进一步化简得\\ & =\prod _{m=1}^M(e^{-{\alpha }_m}(1-e_m)+e^{{\alpha }_m}{e}_m)\\ & 由2.1中，步骤3中{\alpha }_m定义式，进一步化简得\\ & =\prod _{m=1}^M(2\sqrt{e_m(1-e_m)})\\ & 设{\gamma }_m=\frac{1}{2}-e_m，进一步化简得\\ & =\prod _{m=1}^M\sqrt{1-4{\gamma }_m^2}\\ & 由e^x与\sqrt{1-x}的麦克劳林展开式知\sqrt{1-4{\gamma }_m^2}\le \exp (-2{\gamma }_m^2)，进一步化简得\\ & \le \exp (-2\sum _{m=1}^M{\gamma }_m^2)\end{array}$

  所以对于二元分类，adaboost有一个推论，设$\gamma =\min \{{\gamma }_m\}$且想办法令$\gamma \ge 0$，则$$\frac{1}{N}\sum _{i=1}^{N}I(F(x_i)̸=y_i)\le \exp (-2\sum _{m=1}^M{\gamma }^2)=\exp (-2M{\gamma }^2)$$

  此时，随着弱分类器个数的增加，强分类器的误差上限呈指数下降。

---

3. adaboost与前向分步算法

  adaboost与限定损失函数是指数损失函数的前向分步算法等价，所以利用前向分步算法可以很好地解释adaboost算法。下面就用前向分步算法推出来adaboost(二分类问题为例，类别为{1,-1})。
  前向分布算法对第m个弱分类器的学习是：
$$arg\underset{{\beta }_m,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+{\beta }_m{b}_m(x_i;\gamma ))$$

  若是指数损失函数$L(x,y)=\exp (-xy)$，则应写成：
$$arg\underset{{\beta }_m,\gamma }{\min }\sum _{i=1}^N\exp (-y_i(f_{m-1}(x_i)+{\beta }_m{b}_m(x_i;\gamma )))=arg\underset{{\beta }_m,\gamma }{\min }\sum _{i=1}^N\overline{{\omega }_{mi}}\exp (-y_i{\beta }_m{b}_m(x_i;\gamma ))$$

$$\overline{{\omega }_{mi}}=\exp (-y_i{f}_{m-1}(x_i))$$

  求$\gamma$使得经验风险最小，等价于求$b_m(x;\gamma )$使得经验风险最小，所以又可以变形为
$$\begin{array}{rl}& arg\underset{{\beta }_m,b_m(x;\gamma )}{\min }\sum _{i=1}^N\overline{{\omega }_{mi}}\exp (-y_i{\beta }_m{b}_m(x_i;\gamma ))\\ 进一步变型& \\ & =arg\underset{{\beta }_m,b_m(x;\gamma )}{\min }\sum _{y_i̸=b_m(x;\gamma )}\overline{{\omega }_{mi}}{e}^{{\beta }_m}+\sum _{y_i=b_m(x;\gamma )}\overline{{\omega }_{mi}}{e}^{-{\beta }_m}\\ & =arg\underset{{\beta }_m,b_m(x;\gamma )}{\min }(e^{{\beta }_m}-e^{-{\beta }_m})\sum _{y_i̸=b_m(x;\gamma )}\overline{{\omega }_{mi}}+e^{-{\beta }_m}\sum _{i=1}^N\overline{{\omega }_{mi}}\\ & =arg\underset{{\beta }_m,b_m(x;\gamma )}{\min }(e^{{\beta }_m}-e^{-{\beta }_m})\sum _{i=1}^N\overline{{\omega }_{mi}}I(y_i̸=b_m(x_i;\gamma ))+e^{-{\beta }_m}\sum _{i=1}^N\overline{{\omega }_{mi}}\end{array}$$

  其中
$$\overline{{\omega }_{mi}}=\exp (-y_i{f}_{m-1}(x_i))$$

  先求最优$b_m(x;\gamma )$，记为$b_m^{\ast }(x;\gamma )$，对任意${\beta }_m>0$使得$b_m(x;\gamma )$满足上式(${\beta }_m，\overline{{\omega }_{mi}}$是定值)，等价于
$$b_m^{\ast }(x;\gamma )=arg\underset{b_m(x;\gamma )}{\min }\sum _{i=1}^N\overline{{\omega }_{mi}}I(y_i̸=b_m(x_i;\gamma ))$$

  再求最优的${\beta }_m$，对${\beta }_m$求偏导等于0，并带入$b_m^{\ast }(x;\gamma )$，得最优${\beta }_m^{\ast }$如下
$${\beta }_m^{\ast }=\frac{1}{2}log\frac{1-e_m}{e_m}$$

$$e_m=\sum _{i=1}^N\overline{{\omega }_{mi}}I(y_i̸=b_m(x_i;\gamma ))$$

  可见${\beta }_m$的更新和adaboost的${\alpha }_m$更新是一样的。我们进一步看一下$\overline{{\omega }_{m+1,i}}$与$\overline{{\omega }_{mi}}$的关系，由于$f_m(x)=f_{m-1}(x)+{\beta }_m{b}_m(x)$且$\overline{{\omega }_{mi}}=\exp (-y_i{f}_{m-1}(x_i))$，所以
$$\begin{array}{rl}\overline{{\omega }_{m+1,i}}& =\exp (-y_i{f}_m(x_i))\\ & =\exp (-y_i(f_{m-1}(x)+{\beta }_m{b}_m(x)))\\ & =\overline{{\omega }_{mi}}\exp (-y_i{\beta }_m{b}_m(x))\end{array}$$

  与adaboost的权值更新基本一致，仅差规范化因子$Z_m$，所以说，adaboost等价于损失函数是指数损失函数时的前向分步算法。

---

4. 提升树

  提升树(boost tree)就是限定弱分类器(基分类器)为决策树分类器的前向分布算法，提升树是一个高功能的学习算法，可以很好地拟合训练数据，即使输入与输出的关系十分复杂，提升树也可以很好地拟合，所以提升树方法是统计学习中最有效的方法之一。包括用平方误差损失函数的回归问题，用指数损失函数的分类问题，以及用一般损失函数的一般决策问题。

4.1. 分类提升树

  对于二分类问题，分类提升树就是adaboost算法的特殊情况，只需把基分类器限定成二类分类决策树，即二类分类提升树是损失函数为指数损失函数，基学习器为二类分类树的前向分步算法。

4.2. 回归提升树

  回归提升树是损失函数为平方损失函数，基学习器为回归树的前向分步算法。对于第m个基回归树，其学习的是前m-1个回归树的加权和函数$f_{m-1}(x)$，与输出的残差。

4.2.1. 算法流程

输入：训练集$T=\{(x_1,y_1),(x_2,y_2)\dots (x_N,y_N)\}$；回归树个数M；
输出：回归提升树
执行流程：

1. 初始化$f_0(x)=0$；
2. 对每一个基回归树$b_m(x)$，计算残差$$r_{mi}=y_i-f_{m-1}(x_i),m=1,2\dots M,i=1,2\dots N$$
3. 利用残差$r_{mi}$，学习基回归树$b_m(x)$，具体可以参考CART回归树的过程；
4. 更新$f_m(x)=f_{m-1}(x)+b_m(x)$，若m

  在《统计学习方法》中，回归提升树没有基学习器的权值，关于这一点存在异议。

5. 梯度提升

  损失函数是平方损失函数或指数损失函数时，前向分步算法并不难学习，分别对应上面的回归提升树和adaboost，但若是一般的损失函数，每一个基学习器的优化过程并不容易求得，毕竟我们要优化的目标函数是$$arg\underset{{\beta }_m,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+{\beta }_m{b}_m(x_i;\gamma ))$$

针对这一问题，Freidman提出了梯度提升(gradient boosting)，其基本思想是用损失函数的负梯度作为残差的近似值。

$$r_{mi}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$

  然后用这个残差来对第$m$个基学习器进行学习。

5.1. 算法流程

输入：训练集$T=\{(x_1,y_1),(x_2,y_2)\dots (x_N,y_N)\}$；基学习器个数$M$；
输出：梯度提升模型
执行流程：

1. 初始化$$f_0(x)=arg\underset{c}{\min }\sum _{i=1}^{N}L(y_i,c)$$这里初始化和传统的前向分步算法令$f_0(x)=0$不同，这里这样做应该是保证后面求偏导过程不是在零点。
2. 对第$m$个基学习器，求其残差近似$$r_{mi}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$
   需要注意的是$r_{mi}$中，$1\le i\le N$。
3. 利用残差组成新的数据$(x_i,r_{mi})$，来学习第$m$个基学习器$h_m(x)$。
4. 更新梯度提升模型$$f_m(x)=f_{m-1}(x)+h_m(x)$$若$m<M$，递归执行步骤2-4。
5. 返回最终的梯度提升模型$$F(x)=f_M(x)$$

  在《统计学习方法》中，梯度提升依然没有基学习器的权值，但在有些文献中，会在上面的步骤3后，加一步求权值的操作，这一步定义成3.1.步骤。

3.1. 计算权值$\gamma$ $$arg\underset{{\gamma }_m}{\min }L(y_i,f_{m-1}(x)+{\gamma }_m{h}_m(x))$$

对应的步骤4中，更新的模型变成$$f_m(x)=f_{m-1}(x)+{\gamma }_m{h}_m(x)$$

---

参考书籍：
《统计学习方法》