机器学习模型——集成算法（一）

集成学习的定义：

集成学习，顾名思义通过将多个单个学习器集成/组合在一起，使它们共同完成学习任务，以达到提高预测准确率的目的。有时也被称为“多分类器系统 (multi-classifier system)”。

集成学习概述：

集成学习是一种机器学习方法，它通过组合多个弱学习器来形成一个强学习器，以提高预测性能。以下是一些集成学习的关键点：

结合多个学习器：集成学习的核心思想是通过训练多个学习器（基学习器）并结合它们的预测结果来提高整体的预测性能。

适用性广泛：集成学习可以应用于多种机器学习任务，包括分类、回归、特征选择和异常检测等领域。

弱学习器与强学习器：在集成学习中，单个的基学习器通常被称为弱学习器，而通过集成这些弱学习器形成的综合模型则被称为强学习器。

主要算法：集成学习的主要算法包括Bagging、Boosting和Stacking。Bagging通过并行训练多个学习器来减少方差；Boosting通过串行训练学习器来逐步减少偏差；Stacking则是将多个不同的学习器（如KNN、SVM、随机森林等）的输出作为新的特征输入到一个元学习器中进行训练。

集成学习结合策略：

集成学习得到多个学习器后，结合策略得到最终的结果。通常用到最多的是平均法，投票法和学习法。

投票法：

投票法通常用于分类问题