【AdaBoost算法】

AdaBoost算法的原理介绍

AdaBoost算法核心思想

AdaBoost算法 (Adaptive Boosting) 是一种有效而实用的Boosting算法,
它以一种高度自适应的方法顺序地训练弱学习器。AdaBoost根据前一次的
分类效果调整数据的权重,上一个弱学习器中错误分类样本的权重会在下一
个弱学习器中增加,正确分类样本的权重会相应减少,并且在每一轮迭代时
会向模型加入一个新的弱学习器。不断重复调整权重和训练弱学习器的过程,
直到误分类数低于预设值或迭代次数达到指定最大迭代次数时,从而得到一
个强分类器。
【AdaBoost算法】_第1张图片
预先设定AdaBoost算法在误分类数为0时终止迭代,即全部分类正确时
(即误差率为0)停止迭代,并定义误差率为错误划分类别的样本权重之和,
例如对于9个样本,每个样本的权重为1/9,若此时有2个样本划分错误,那
么此时的误差率就是1/9 + 1/9=2/9

算法步骤:
步骤一:设定各样本初始权重相等,均为1/9,切一刀划分类别使得误差率最低。
步骤二:误分类数为3,此时的误差率为1/9+1/9+1/9=1/3;这时提高分类错
误的样本权重,降低分类正确的样本权重。
步骤三:根据新权重,再切一刀划分类别使得误差率最低。
【AdaBoost算法】_第2张图片
步骤四:误分类数为2,未达到预设值0,重复步骤二。
步骤五:重复步骤三。
步骤六:误差率已达预设值0,建模结束。
【AdaBoost算法】_第3张图片
【AdaBoost算法】_第4张图片

案例实战

AdaBoost信用卡精准营销模型

模型搭建

你可能感兴趣的:(信息管理与信息系统,算法,人工智能)