Resample方法

文章目录

  • Bootstrap
  • Bagging
  • Boosting
  • AdaBoost

Bootstrap

在原有的训练数据集(数据集大小为n)上重复性地随机选取n个数据.

核心思想在于,给定训练集,当你认为给定的训练集不能够很好地反应数据的真实分布时,可以采用重采样的方法,来增大样本.

Bagging

bootstrap aggregating

在原有的训练数据集 D D D上,采用bootstrap的方法独立选取 m m m个训练集分别训练 m m m个分类器/回归,然后组合成最终的分类器/回归.

Bagging的方法能够提升不稳定分类器的识别准确率,因为它有效地平均了多个分类器之间的不稳定性.

Boosting

Boosting同样是生成多个子分类器,但是多个子分类器的产生是有序的,即一个分类器依赖于前一个分类器,并且子分类器着重关注于前一个分类器误分类的样本.

AdaBoost

关于AdaBoost的知识可以参考AdaBoost详解

你可能感兴趣的:(机器学习)