机器学习-Bias-Variance

• 对Bias和Variance的来源的解释

Bias：来源于训练集中没有的，测试集中存在的data产生的。

Variance：来源于训练集里有的，但是测试集里没有的，且不应该属于ground truth的data（这里其实有个假设：就是test data认为是没有噪音的，完全是ground truth）。

三个值

• h相当于模型对训练集不含有variance的数据进行拟合产生的最佳模型。
• f相当于对测试集数据应该产生的模型
• y相当于对训练集含有噪声的数据应该产生的模型

 

最希望的模型：
 

 

几种现象组合

	high variance	low variance
high bias	测试集数据和训练集数据严重不符 训练集数据也有大量噪声。 测试集有大量groundtruth训练集没有。	欠拟合
low bias	过拟合	good model

几个解决欠拟合和过拟合的方法通过bias和variance理解：

assumption：

如果数据足够好，bias应该是非常少的，更多的可能是train sample中的variance更多些。

数据端影响：

• Bagging：（单个subset更少）每个model的subset data包含的variance更少，假设比例不变，这样每个模型variance更小。（多个subset）同时有多个subdata set，让每个model能看到的train和test都能见到的数据更多，解决bias问题。第一个模型出现的bias，靠其他模型看到过test数据集有，第一个subset没有的数据，来弥补。
• 扩充高质量数据集：稀释variance，减少bias
• 特征选择，减少特征：减少variance发生的列，减少variance影响。

模型端影响：

• 正则化：问题来源：high variance。削弱模型对指定特征的学习能力，减少了高variance的风险。
• 简单模型：减少学习variance能力，当然也同时削弱了预测bias的能力。
• 复杂模型：对variance和bias数据都增强了拟合能力。
• 扩展特征：扩充bias可能性增加，同时有增加variance风险。将数据升维，更改数据的排布，让训练和测试集的分布更加贴近。

参考文章：http://www.cs.cmu.edu/~wcohen/10-601/bias-variance.pdf

友情推荐：ABC技术研习社

为技术人打造的专属A(AI),B(Big Data),C(Cloud)技术公众号和技术交流社群。