集成算法

集成算法

目的：让机器学习效果更好

Bagging模型

各个弱学习器之间没有依赖关系，可以并行拟合，如随机森林。

随机森林其中随机就是数据采用随机，特征选择随机，其中森林就是很多决策树并行放在一起。由于二重随机性，使得每个树基本上都不会相同，所以最终的结果也不同。

 

Boosting模型

个弱学习器之间有依赖关系，如Adaboost、Xgboost算法

Adaboost会根据前一次的分类效果调整数据权重。最终的结果是每个分类器根据自身的准确性来确定各自的权重，在串行组合在一起。

 

Stacking

聚合多个分类或回归模型（分阶段来做）

把各种各样的分类器堆叠在一起（KNN,SVM,RF等），第一阶段得出各自结果，第二阶段再用前一阶段训练。