机器学习与数据挖掘 第十一讲：Overfitting

概念

泛化（Generalization）：模型的泛化能力是指它在训练数据集上的误差是否能够接近所有可能测试数据误差的均值($E_{out}-E_{in}\to 0$)。泛化误差大致可以理解成测试数据集误差和训练数据集误差之差($E_{out}-E_{in}$)。
① 当$E_{in}$很小，$E_{out}$很大时，发生过拟合(overfitting)
② 当$E_{in}$很大，$E_{out}$很大时，发生欠拟合(underfitting)

下图中，竖直的虚线左侧是"underfitting", 右侧是"overfitting”。

我们通过对训练集的拟合效果来评判训练模型，但模型的性能好坏却是由模型在未知数据上的表现确定的。
样本数据中不可避免的存在噪音，当拟合程度超过一定程度时，其实是在拟合噪音，其泛化能力也相应变差。

发生overfitting的主要原因有：

1. 使用过于复杂的模型($d_{vc}$很大)
2. 数据噪音
3. 有限的训练数据

过拟合中的噪音

① Stochastic noise: 由数据采集造成的噪音，呈随机化, 称随机噪音$ϵ$为
$$y-f(X)$$
② Deterministic noise: 由于假设函数$g$的复杂程度造成的，称为确定性噪音,即
$$E[\hat{g}(X)]-f(X)$$
异同点

1. 两种噪音均无法消除，随机噪音是永恒存在，呈现随机分布规律；确定性噪音则由假设空间和样本数据的有限性导致的无规律存在
2. 确定性噪音由假设空间$H$决定，当x给定时，其偏差是确定的

当噪音不存在时，
$$\begin{array}{rl}{E}_D& =E_D\left[(g^D(x)-\hat{f}(x){)}^2\right]\\ & =E_D\left[(g^D(x)-\hat{g}(x){)}^2\right]+E_D\left[(\hat{g}(x)-f(x)]{)}^2\right]\\ & =\mathrm{Variance}+\text{Bias}\end{array}$$
当噪音存在时
$$\begin{array}{rl}{E}_{D,ϵ}& =E_{D,ϵ}\left[(g^D(x)-\hat{f}(x){)}^2\right]\\ & =E_{D,ϵ}\left[(g^D(x)-\hat{f}(x)-ϵ(x){)}^2\right]\\ & =\underset{\text{ Variance }}{E_{D,x}\left[(g^D(x)-\hat{g}(x){)}^2\right]}+\underset{\text{ deterministic noise }}{\underset{\text{ Bias }}{E_x\left[(\hat{g}(x)-f(x)]{)}^2\right]}}+\underset{\text{ stochastic noise }}{\underset{{\sigma }^2}{E_{ϵ,x}[(ϵ(x){)}^2]}}\end{array}$$

如何处理过拟合

1. 假设过于复杂时，应降低复杂度，如采用更为简单的模型或正则化
2. 随机噪音过强时，可进行数据清洗
3. 数据规模过小时，应收集更多的数据