AdaBoost详解

提升方法的思路

对于一个复杂任务，将多个决策进行适当的综合所得出的判断，要比其中任何一个决策更为准确.

对于分类问题，提升方法的就是从弱学习方法出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器，大多数提升方法都是通过改变训练数据的概率分布，(即通过对训练数据进行加权)，针对不同分布的数据调用弱学习方法学习一系列的弱分类器.

提升方法有两个关键所在：

• 在每一轮如果改变训练数据的权值或概率分布.
• 如何将弱分类器组合成一个强分类器.

强可学习和弱可学习

Kearns和Valiant提出了强可学习和弱可学习的概念.
在概率近似正确(probably approximately correct, PAC)学习的框架中，

一个概念如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的.

一个概念如果存在一个多项式的学习算法能够学习它，学习的正确率只比随机猜测略好，则称这个概念是弱可学习的.

Schapire后来证明强可学习和若可学习是等价的，即在PAC学习框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习的.

PAC学习

很容易得知，除非对所有可能的数据进行训练，否则总会存在多个假设使得错误率不为0，也就是说学习器不能保证和目标函数完全一致，且由于样本是随机选择的，总存在一定的偶然性，使得学习器学习到的与真实分布不同。

因此我们只要求学习学习到一个近似正确的假设，即PAC学习.

一个可PAC学习的学习需要满足两个条件：

• 学习器必须以任意高的概率输出一个错误率任意低的假设.
• 学习的时间最多以多项式方式增长.

AdaBoost

对于提升方法的两个关键，AdaBoost采取的做法是，提高被前一轮弱分类器错误分类样本的权值，降低被正确分类样本的权值，这样分类器就会更加关注上一轮被错分类的数据；对于弱分类器的组合，AdaBoost采取加权多数表决的方法，对于分类误差率小的弱分类器取较大的权值，减小分类误差率大得弱分类器的权值.

AdaBosst算法

假设给定一个二类分类的训练数据集$T=(x_1,y_1),(x_2,y_2)\dots (x_N,y_N)$，其中，每个样本点有实例和标记组成. 标记$y_i=\{-1,+1\}$，AdaBoost利用以下算法，从训练数据中学习一系列弱分类器，然后将弱分类器线性组合成为一个强分类器.

算法(AdaBoost)

输入：训练数据集，弱学习算法.

输出：强分类器$G(x)$

1. 初始化训练数据的权值分布
   $$D_1=(w_{11},\dots ,w_{1i},\dots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2\dots ,N$$
2. 对$m=1,2,\dots ,M$
   1. 使用具有权值分布的$D_m$的训练数据集学习，得到基本分类器$G_m(x):x\to \{-1,+1\}$.
   2. 计算$G_m(x)$在训练数据集上的分类误差率$e_m=P(G_m(x_i)̸=y_i)={\sum }_{i=1}^N{w}_{mi}I(G_m(x_i)̸=y_i)$.
   3. 计算$G_m(x)$的系数${\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$.
   4. 更新训练数据集的权值分布，这里的$Z_m$是规范化因子
      $$\begin{gathered} D_{m+1}=(w_{m+1,1},\dots ,w_{m+1,i},\dots ,w_{m+1,N}) \\ {W}_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-{\alpha }_m{y}_i{G}_m(x_i))，i=1,2\dots ,N \\ {Z}_m=\sum _{i=1}^N{w}_{mi}\exp (-{\alpha }_m{y}_i{G}_m(x_i)) \end{gathered}$$
3. 构成基本分类器的线性组合
   $f(x)={\sum }_{m=1}^M{\alpha }_m{G}_m(x)$，得到最终分类器
   $$G(x)=sign(f(x))=sing(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$

在计算$G_m(x)$在训练数据集上的分类误差率$e_m$，我们可以得到$e_m={\sum }_{G_m(x_i)̸=y_i}{w}_{mi}$，即分类误差率是被$G_m(x)$五分类样本的权值之和.

当$e_m\le \frac{1}{2}$时，${\alpha }_m\ge 0$，并且${\alpha }_m$随$e_m$的减小而增大，所以分类误差率越小的弱分类器在最终分类器中的权值越大.

AdaBoost算法的训练误差分析

AdaBoost在学习过程中不断减少训练误差.

定理: AdaBoost算法最终分类器的训练误差界为
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)̸=y_i)\le \frac{1}{N}\sum _i\exp (-y_{i}f(x_i))=\prod _m{Z}_m$$

证明：
显然式子第一部分的值小于等于1，而当$G(x_i)̸=y_i$时，$y_{i}f(x_i)<0$，因而有$\exp (-y_{i}f(x_i))\ge 1$，所以左半部分成立.

$$\begin{array}{rl}\frac{1}{N}\sum _i\exp (-y_{i}f(x_i))& =\frac{1}{N}\sum _i\exp (-\sum _{m=1}^M{\alpha }_m{y}_i{G}_m(x_i))\\ & =\sum _i{w}_{1i}\exp (-\sum _{m=1}^M{\alpha }_m{y}_i{G}_m(x_i))\\ & =\sum _i{w}_{1i}\prod _{m=1}^M\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =Z_1\sum _i{w}_{2i}\prod _{m=2}^M\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =Z_1{Z}_2\sum _i{w}_{3i}\prod _{m=3}^M\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\dots \\ & =Z_1{Z}_2\dots Z_{M-1}\sum _i{w}_{Mi}\exp (-{\alpha }_M{y}_i{G}_M(x_i))\\ & =\prod _{m=1}^M{Z}_m\end{array}$$

在每一轮过程中我们总可以选取合适的$G_m$使得$Z_m$最小，从而使训练误差下降最快.

定理：二分类问题AdaBoost的训练误差界

$$\prod _{m=1}^M{Z}_m=\prod _{m=1}^M(2\sqrt{e_m(1-e_m)})=\prod _{m=1}^M\sqrt{(1-4{\gamma }_m^2)}\le \exp (-2\sum _{m=1}^M{\gamma }_m^2)$$
这里${\gamma }_m=\frac{1}{2}-e_m$

证明
$$\begin{array}{rl}{Z}_m& =\sum _{i=1}^N{w}_{mi}\exp (-{\alpha }_m{y}_{i}G(x_i))\\ & =\sum _{y_i=G_m(x_i)}{w}_{mi}{e}^{-{\alpha }_m}+\sum _{y_i̸=G_m(x_i)}{w}_{mi}{e}^{{\alpha }_m}\\ & =(1-e_m)e^{-{\alpha }_m}+e_m{e}^{\alpha }\\ & =2\sqrt{e_m(1-e_m)}=\sqrt{1-4{\gamma }_m^2}\end{array}$$
利用泰勒公式将$e^x$和$\sqrt{1-x}$在$x=0$处展开可以推出$\sqrt{1-4{\gamma }_m^2}\le \exp (-2{\gamma }_m^2)$.

推论
如果存在$\gamma >0$，对所有$m$有${\gamma }_m\ge \gamma$，则
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)̸=y_i)\le \exp (-2M{\gamma }^2)$$

由此可以看出AdaBoost训练误差其上界是以指数速率下降的.

前向分步算法

AdaBoost可以看作是模型为加法模型、损失函数为指数函数的前向分步算法.

对于加法模型
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$
其中$b(x;{\gamma }_m)$为基函数，${\gamma }_m$为基函数的参数，${\beta }_m$为基函数的系数.
在给定训练数据及损失函数的条件下，学习加法模型$f(x)$成为经验风险极小化即损失函数极小化问题.
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L(y_i,\sum _{m=1}^M{\beta }_{m}b(x_i;{\gamma }_m))$$
前向分步算法求解这一优化问题的想法是：从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数，就可以简化优化的复杂度，每一步只需要优化如下损失函数：
$$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,\beta b(x_i;\gamma ))$$
算法

输入：
训练数据集T,损失函数$L(y,f(x))$，基函数集$\{b(x;\gamma )\}$

输出：
加法模型$f(x)$

1. 初始化$f_0(x)=0$.
2. 对$m=1,2\dots ,M$
   1. 极小化损失函数
      $$({\beta }_m,{\gamma }_m)=arg\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma ))$$
      得到其参数${\beta }_m,{\gamma }_m$
   2. 更新
      $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;{\gamma }_m)$$
3. 得到加法模型
   $$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$

这样就将同时求解从$m=1$到M所有参数${\beta }_m,{\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m,{\gamma }_m$的优化问题.

前向分步算法和AdaBoost

定理 AdaBoost算法是前向分步算法的特例，模型是由基本分类器促成的加法模型，损失函数是指数函数.

证明

1. 显然，当基函数为基本分类器时，该加法模型等价于AdaBoost的最终分类器
   $$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

2. 证明AdaBoost的损失函数为指数损失函数.
   $$L(y,f(x))=\exp (-yf(x))$$
   假设已经经过$m-1$次迭代，得到了$f_{m-1}(x)$:
   $$f_{m-1}(x)=f_{m-2}(x)+{\alpha }_{m-1}{G}_{m-1}(x)={\alpha }_1{G}_1(x)+\cdots +{\alpha }_{m-1}{G}_{m-1}(x)$$
   第$m$轮迭代目标是获得${\alpha }_m,G_m(x),f_m(x)$，
   $$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_{m-1}(x)$$
   目标是使$f_m(x)$在训练数据集上的指数损失函数最小
   $$\begin{array}{rl}({\alpha }_m,G_m(x))& =arg\underset{\alpha ,G}{\min }\sum _{i=1}^N\exp (-y_i(f_{m-1}(x_i)+\alpha G(x_i)))\\ & =arg\underset{\alpha ,G}{\min }\sum _{i=1}^N{\bar{w}}_{mi}\exp (-y_i\alpha G(x_i))\end{array}$$
   其中${\bar{w}}_{mi}=\exp (-y_i{f}_{m-1}(x_i))$，${\bar{w}}_{mi}$与${\alpha }_m,G_m$都无关，所以与最小化无关.

现证明使上述代价函数最小的${\alpha }_m^{\ast },G_m^{\ast }(x)$就是AdaBoost算法所得到的${\alpha }_m$和$G_m(x)$.

求解可分为两步：

先求解$G_m^{\ast }(x)$，对于任意$\alpha >0$，使得上式最小的$G(x)$由下式得到：
$$G_m^{\ast }(x)=arg\underset{G}{\min }\sum _{i=1}^N{\bar{w}}_{mi}I(y_i̸=G(x_i))$$
此分类器即为AdaBoost算法的基本分类器$G_m(x)$，因为其使第m轮加权训练数据分类误差率最小.

再求解${\alpha }_m^{\ast }$，
$$\begin{array}{rl}\sum _{i=1}^N{\bar{w}}_{mi}\exp (-y_i\alpha G(x_i))& =\sum _{y_i=G_m(x_i)}{\bar{w}}_{mi}{e}^{-\alpha }+\sum _{y_i̸=G_m(x_i)}{\bar{w}}_{mi}{e}^{\alpha }\\ & =(e^{\alpha }-e^{-\alpha })\sum _{i=1}^N{\bar{w}}_{mi}I(y_i̸=G(x_i))+e^{-\alpha }\sum _{i=1}^N{\bar{w}}_{m}i\end{array}$$
将$G_m^{\ast }(x)$代入上式，对$\alpha$求导等于0，即可得到使损失函数最小的$\alpha$
$${\alpha }_m^{\ast }=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
其中$e_m$是分类误差率.

最后再看每一轮样本权值的更新，
$$\begin{gathered} f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x) \\ {\bar{w}}_{mi}=\exp (-y_i{f}_{m-1}(x_i)) \end{gathered}$$
可得
$${\bar{w}}_{m+1,i}={\bar{w}}_{m,i}\exp (-y_i{\alpha }_m{G}_m(x))$$

参考文献

李航-统计学习方法