模型的方差与偏差

泛化误差可以分为三个部分，偏差(bias), 方差(variance) 和噪声(noise)。其中可控的是偏差(bias), 方差(variance)。

偏差： Bias，指的是模型预测值偏离真实值的程度；
方差： Variance，值模型预测值的离散程度，比如两条几乎相同的样本，但是预测值可能差很多；

Bias 和Variance 的关系如下图所示，模型可以预测的不准但是方差很小，比如第三个圆。

一般情况下模型偏差越小方差越大，即模型训练的越复杂训练集上的准确率越高越可能过拟合。过拟合的表现就是模型的方差较大。

交叉验证中就是根据偏差和方差的权衡来评估模型的效果

参考资料

http://liuchengxu.org/blog-cn/posts/bias-variance/
https://blog.csdn.net/simple_the_best/article/details/71167786