方差偏差分解及含义

偏差与方差的直观感受：

方差（Variance）：度量同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

偏差（Bias）：度量训练所得模型的预估值和真实值的偏离程度，刻画了模型本身的拟合能力。

 

 

最小二乘回归的期望损失（Expected loss of least square regression）：

f (x;D)为在数据集D上训练的预测函数（估计值）；y 为训练数据集实际输出函数值；h(x)为最优预测（最优值）。

第一项为平方差的期望（ (bias)^2 + variance），第二项为噪声项。第二项与f (x)无关，它来自于数据的固有噪声。

Noise：表达了当前任务上任何模型所能达到的期望泛化误差的下界，刻画了学习问题本身的难度。

参数较少的“简单”模型可能具有较大的偏差（但方差较小）；参数较多的“复杂”模型可能具有较大方差（但偏差较小）。

平方偏差表示所有数据集的平均预测与期望回归函数的差异程度。

方差衡量的是单个数据集的解在其平均值附近变化的程度，即函数f (x;D)对数据集的特定选择的敏感程度。

方差偏差分解：（推导如下，在左边平方误差中间减去再加上等于没加没减）

上式等式右边第一项为方差，第二项为偏差的平方。

 

参考：

https://www.cnblogs.com/makefile/p/bias-var.html