AdaBoost

AdaBoost

AdaBoost是典型的Boosting算法，即找到相对容易的弱学习算法，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分，加法模型和前向分步算法。

1. 加法模型就是说强分类器由一系列弱分类器线性相加而成。
2. 前向分步就是说在训练过程中，下一轮迭代产生的分类器是在上一轮的基础上训练得来的。

由于采用的损失函数不同，Boosting算法也因此有了不同的类型，AdaBoost就是损失函数为指数损失的Boosting算法

流程

输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)\}$，其中，$x_i\in X\subseteq R^n$，$y_i\in Y=-1,1$，迭代次数M

a. 初始化训练样本的权值分布：$D_1=(w_{1,1},w_{1,2},\dots ,w_{1,i}),w_{1,i}=\frac{1}{N},i=1,2,\dots ,N$
b. 对于$m=1,2,\dots ,M$

1. 使用具有权值分布$D_m$的训练数据集进行学习，得到弱分类器$G_m(x)$
2. 计算$G_m(x)$在训练数据集上的分类误差率$$e_m=\sum _{i=1}^N{w}_{m,i}I(G_m(x_i)\ne y_i)$$
3. 计算$G_m(x)$在强分类器中所占权重$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
4. 更新训练数据集的权值分布，$z_m$是归一化因子，可将样本概率分布和为1$$w_{m+1,i}=\frac{w_{m,i}}{z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))，i=1,2,\dots ,10$$
   $$z_m=\sum _{i=1}^N{w}_{m,i}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$

c. 最终分类器
$$F(x)=sign(\sum _{i=1}^N{\alpha }_m{G}_m(x))$$

证明与推导

adaboost的损失函数为指数函数：
$$L(y,f(x))=exp[-yf(x)]$$
对于分类模型而言，上述损失函数，在分类正确的时候，指数部分为负数；在分类错误的时候，指数部分为正数，符合损失函数的意义。
前向分步为：$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$
将前向分步代入损失函数，可得：
$$Loss=\sum _{i=1}^{N}exp(-y_i{f}_m(x_i))=\sum _{i=1}^{N}exp(-y_i(f_{m-1}(x_i)+{\alpha }_m{G}_m(x_i)))$$此时$f_{m-1}(x)$已知，即：

$$Loss=\sum _{i=1}^N{w}_{m,i}exp(-y_i{\alpha }_m{G}_m(x_i))$$$$w_{m,i}=exp(-y_i(F_{m-1}(x)))$$
于是分类器$G_m(x)$和这个分类器的权重 ${\alpha }_m$ 可以表示成：

先求$G_m(x)$，分类器的权重可以认为是一个确定的数，$G_m(x)$是使得分错的（带权重的）样本里损失函数最小的那个，可以写成：

得到$G_m^{\ast }(x)$以后，求${\alpha }_m^{\ast }$

把上式对 α 求导，再令导函数为 0 ，得





更新权重

相关考点

1. Adaboost 由于采用boosting算法，而Boosting 算法会倾向于一直分错的样本，如果样本中有离群的错误样本，boosting就会出现效果不好的情况。即Adaboost对离群值、异常值敏感。
2. Adaboost和GBDT的异同点
   （1) 关注点：分错权值，残差：Adaboost每轮学习的一个基本学习器是通过改变样本的权值，关注上轮分类错误的样本的权值，以逐步减少在训练集上的分类误差率。而GBDT每轮学习一个基本学习器是通过改变输出值，每轮拟合的值为真实值与已有的加法模型的差值（即残差）。
   （2) 异常点: adaboost存在异常点敏感的问题, gbdt一定程度上优化了adaboost异常点敏感的问题，但是存在难以并行的缺点
   （3）树: GBDT无论是进行分类还是回归问题，都用的CART回归树，adaboost对分类问题用二叉分类树，回归问题用二叉回归树。
   （4）方差偏差: 两者的目标都是优化偏差bias，必然导致训练出来的数据方差var的不稳定

实战

https://blog.csdn.net/FontThrone/article/details/78834807
https://louisscorpio.github.io/2017/11/28/%E4%BB%A3%E7%A0%81%E5%AE%9E%E6%88%98%E4%B9%8BAdaBoost/