过度拟合

针对拟合函数，通常会有三种状况，分别是欠拟合，正常和过度拟合

左：欠拟合 中：正常 右：过度拟合

欠拟合是指假设函数对于样本集本身就拟合结果不佳，很容易直观看出来

而过度拟合是指假设函数为了完美的拟合样本集，引入了过多的高次项，虽然对于样本的拟合十分良好，但是与实际情况完全偏离

---

针对过度拟合，解决方案有几种：

1、减少特征项的个数：

·通过人工挑选特征

·使用模型选择算法

2、正则化（Regularization）

·留住所有的特征项，不过减小θj的大小

·对于有大量有微小影响的特征项的情况十分有效

---

正则化（Regularization）：

对于假设方程，我们都是求代价函数（cost function）的最小值来达到最佳拟合，然而这无法避免过度拟合，所以我们将代价函数进行修改：

新的代价函数

其中λ是正则化参数

---

线性回归和逻辑回归：

因为我们的代价函数已经发生了变换，所以针对线性回归和逻辑回归的求值过程也会有所改变：

j=1,2,3...n

因为线性回归和逻辑回归仅仅是hθ(x)有所不同，可以通用，不过此处针对θ0则需单独处理，因为之前正则化时是从θ1开始而不是θ0

---

正规方程（Normal Equation）：

在之前讲正规方程时，曾经提到XT·X的逆矩阵有可能不存在，其中一个原因是特征过剩，特征n的个数比训练集m的个数还多，而正则化可以解决这个问题：

新的正规方程

因为引入了正则化，所以我们的正规方程也有所变化，变为如上图，此时括号内的矩阵行列式不为0（还没证出来），所以正则化可以解决此问题