为什么正则化能减少模型过拟合程度

如何才能直观解释正则化减少过拟合的原理？

（1）过拟合

以下图为例。High Bias（高偏差）就是欠拟合，High Variance（高方差）就是过拟合。

为了将过拟合的模型变为正好（Just Right），从图中直观上来看，只需要减小高次项的权重。

这就是降低过拟合的直观理解。从数学上，我们用正则化来降低模型的过拟合程度。

（2）正则化

简单来说，所谓正则化，就是在原Cost Fucntion上添加正则化项（如下图）。

正则化项能减少模型的非线性程度，从而降低模型的过拟合。从图中来看，正则化项能将过拟合的模型（蓝色）变为Just Right的模型（粉红色）。

（3）为什么正则化有效？

分情况讨论

• A. 对于线性模型，其添加了正则化项的Cost Function如下图。

直观的理解，如果我们的正则化系数（lambda）无穷大，则权重w就会趋近于0。权重变小，非线性程度自然就降低了。

• B. 对于神经网络，其激活函数（以tanh为例）如下图

直观的理解，如果我们的正则化系数（lambda）无穷大，则权重w就会趋近于0。权重变小，激活函数输出z变小。z变小，就到了激活函数的线性区域，从而降低了模型的非线性化程度。

参考

Andrew NG的视频