集成算法简介

一、集成模式

1、平均法

该方法的原理是构建多个独立的估计器，然后取它们的预测结果的平均值。一般来说组合之后的估计器是会比单个估计器要好，因为它的方差减小了

示例：Bagging、随机森林

2、boosting方法：

该方法的基估计器是依次构建的，并且每一个基估计器都尝试去减小组合估计器的偏差。这种方法主要目的是为了结合多个弱模型，使集成的模型更加强大。

示例：AdaBoost、梯度提升树

3、具体算法

1）Bagging

from sklearn.ensemble import BaggingClassifier

from sklearn.ensemble import BaggingRegressor

2）随机森林

from sklearn.ensemble import RandomForestClassifier

from sklearn.ensemble import RandomForestRegressor

3）AdBoost

from sklearn.ensemble import AdaBoostClassifier

from sklearn.ensemble import AdaBoostRegressor

4）梯度提升树Gradient Tree Boosting

from sklearn.ensemble import GradientBoostingClassifier

from sklearn.ensemble import GradientBoostingRegressor

5）投票分类器Voting Classifier

a）多数类标签（又称多数/硬投票）

在多数投票中，对于每个特定样本的预测类别标签是所有单独分类器预测的类别标签中票数占据多数的类别标签

b）加权平均概率（软投票）