Bias vs. variance

from: http://blog.sina.com.cn/s/blog_49899f3b0100lewa.html

Bias-variance 分解是机器学习中一种重要的分析技术。给定学习目标和训练集规模，它可以把一种学习算法的期望误差分解为三个非负项的和，即本真噪音、bias和 variance。

本真噪音是任何学习算法在该学习目标上的期望误差的下界；( 任何方法都克服不了的误差)
bias 度量了某种学习算法的平均估计结果所能逼近学习目标的程度；（独立于训练样本的误差，刻画了匹配的准确性和质量：一个高的偏差意味着一个坏的匹配）

variance 则度量了在面对同样规模的不同训练集时，学习算法的估计结果发生变动的程度。（相关于观测样本的误差，刻画了一个学习算法的精确性和特定性：一个高的方差意味着一个弱的匹配）

Boosting通过样本变权全部参与，故Boosting 主要是降低 bias （同时也有降低 variance 的作用，但以降低 bias为主） ；而 Bagging 通过样本随机抽样部分参与（单个学习器训练），故bagging主要是降低 variance。