DataWhale集成学习笔记-task05
模型融合：模型融合就是训练多个模型，然后按照一定的方法集成过个模型，应为它容易理解、实现也简单，同时效果也很好，在工业界的很多应用，在天池、kaggle比赛中也经常拿来做模型集成。
集成学习：Bagging：bootStrap
boosting: 叠加式
stacking ：模型之间存在前后的关系，模型1的特征训练出给模型2进行训练
投票法
投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。
投票法在回归模型与分类模型上均可使用：
- 回归投票法：预测结果是所有模型预测结果的平均值。
- 分类投票法：预测结果是所有模型种出现最多的预测结果。
分类投票法又可以被划分为硬投票与软投票：
- 硬投票：预测结果是所有投票结果最多出现的类。
- 软投票：预测结果是所有投票结果中概率加和最大的类。
在实际应用上，想要投票法产生较好的结果，需要满足两个条件：
- 基模型之间的效果不能差别过大。当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
- 基模型之间应该有较小的同质性。例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。
当投票合集中使用的模型能预测出清晰的类别标签时，适合使用硬投票。当投票集合中使用的模型能预测类别的概率时，适合使用软投票。软投票同样可以用于那些本身并不预测类成员概率的模型，只要他们可以输出类似于概率的预测分数值（例如支持向量机、k-最近邻和决策树）。
投票法的局限性在于，它对所有模型的处理是一样的，这意味着所有模型对预测的贡献是一样的。如果一些模型在某些情况下很好，而在其他情况下很差，这是使用投票法时需要考虑到的一个问题。
投票法的案例分析(基于sklearn，介绍pipe管道的使用以及voting的使用)
Sklearn中提供了 VotingRegressor 与 VotingClassifier 两个投票方法。 这两种模型的操作方式相同，并采用相同的参数。使用模型需要提供一个模型列表，列表中每个模型采用Tuple的结构表示，第一个元素代表名称，第二个元素代表模型，需要保证每个模型必须拥有唯一的名称。
实例可见 task05.ipynb
bootStrap
随机森林：bagging+特征采样
通过 bootStrap(自助法)的思路如下：
假设一个总体服从正态分布 x ∼ N ( μ , σ 2 ) x\thicksim N(\mu,\sigma^{2}) x∼N(μ,σ2)需要估计 μ \mu μ和 σ \sigma σ,从数据集中抽了10次样，每次抽样抽了100随机变量 x i x_i xi, ( i = 1 , 2 , . . . , 100 ) (i=1,2,...,100) (i=1,2,...,100),得到的 X j ˉ \bar{X_j} Xjˉ, ( j = 1 , 2 , . . . , 10 ) (j=1,2,...,10) (j=1,2,...,10)
对于 X j ˉ \bar{X_j} Xjˉ服从 N ( μ , σ 2 / n ) N(\mu,\sigma^{2}/n) N(μ,σ2/n),也就是说
1 n ∑ j = 1 n ( X j ˉ ) = E ( X ˉ ) = 1 n ∑ j = 1 n 1 m ∑ i = 1 m ( x i ) = E ( X ) = μ \frac{1}{n}\displaystyle\sum_{j=1}^n(\bar{X_j})=E(\bar{X})=\frac{1}{n}\displaystyle\sum_{j=1}^n\frac{1}{m}\displaystyle\sum_{i=1}^m(x_i)=E(X)=\mu n1j=1∑n(Xjˉ)=E(Xˉ)=n1j=1∑nm1i=1∑m(xi)=E(X)=μ 可见，可以根据 1 n ∑ j = 1 n ( X j ˉ ) \frac{1}{n}\displaystyle\sum_{j=1}^n(\bar{X_j}) n1j=1∑n(Xjˉ)推断 μ \mu μ的值。
V A R ( X ˉ ) = E ( X j ˉ − E ( X ˉ ) ) 2 = σ 2 / n VAR(\bar{X})=E(\bar{X_j}-E(\bar{X}))^2= \sigma^2/n VAR(Xˉ)=E(Xjˉ−E(Xˉ))2=σ2/n 可见，可以根据 V A R ( X ˉ ) VAR(\bar{X}) VAR(Xˉ)推断 σ \sigma σ的值。
bagging的思路
与投票法不同的是，Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章中我们提到，希望各个模型之间具有较大的差异性，而在实际操作中的模型却往往是同质的，因此一个简单的思路是通过不同的采样增加模型的差异性。
Bagging的核心在于自助采样(bootstrap)这一概念，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。一个自助采样的小例子是我们希望估计全国所有人口年龄的平均值，那么我们可以在全国所有人口中随机抽取不同的集合（这些集合可能存在交集），计算每个集合的平均值，然后将所有平均值的均值作为估计值。
首先我们随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终我们可以获得一个大小为K的样本集合。同样的方法， 我们可以采样出T个含K个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合，这就是Bagging的基本流程。
对回归问题的预测是通过预测取平均值来进行的。对于分类问题的预测是通过对预测取多数票预测来进行的。Bagging方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合完成的，这又使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。
Bagging同样是一种降低方差的技术，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。在实际的使用中，加入列采样的Bagging技术对高维小样本往往有神奇的效果。
bagging的案例分析(基于sklearn，介绍随机森林的相关理论以及实例)
这个有更完整的实例
作业：
- 什么是boostraps
- bootstrap与bagging的联系
- 什么是bagging
- 随机森林和bagging的联系和区别
- 使用偏差和方差理论阐述为什么bagging能提升模型的预测精度
- 请尝试使用bagging与基本分类模型做对比，观察bagging是否相对于基础模型的精度有所提高
请看新的博客 - 用 python numpy sklearn 的基础模型实现bagging