Adaboost 和 Bagging

Adaboost的目的是从训练数据中学习一系列弱分类器，然后将其按一定权重累加起来得到强分类器。

刚开始每个样本对应的权重是相等的，在此样本分布下训练一个基本分类器c1.对于c1错分的样本增加其权重，

对正确分类的样本降低其权重。这样使得错分的样本突出出来，并得到一个新的样本分布。

同时根据分类情况赋予c1一个权重，表示其重要程度，分类正确率越高权重越大。

然后在新的样本分布下对分类器进行训练，得到c2及其权重。依此类推，得到M个基本分类器及其权重。

将这些弱分类器按照权重累加起来就是所期望的强分类器。

 

Bagging是对训练样本多次抽样训练多个分类器，然后对测试集进行投票所得到的优胜结果就是最终的分类结果。

在投票时每个分类器的权重是相等的。(Bagging 是有放回的取样,pasting是无放回的取样)