机器学习基础 - 回归模型之线性回归

机器学习： 线性回归

---

1. 线性回归

1. 简介

简单来说，线性回归算法就是找到一条直线（一元线性回归）或一个平面（多元线性回归）能够根据输入的特征向量来更好的预测输出y的值。

其本质含义在于 X 与 Y 是线性相关的。
$$y={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_p{x}_p={\theta }^{T}x$$

2. 线性回归如何训练？

在线性回归中， 我们可以通过两种方法来求取参数 $\theta$ ， 一种是采用正规方程， 一种是采用梯度下降方法。

1. 损失函数

$$\begin{gathered} J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2, \\ 或 \\ 矩阵表示:J(\theta )=\frac{1}{2m}(X\theta -y{)}^T(X\theta -y) \end{gathered}$$

2. 正规方程

我们使用 $J(\theta) $对 $\theta$ 求导， 得到：
$$\frac{\delta J(\theta )}{\delta \theta }=2X^T(X\theta -y)$$
令上式为0，我们可以得到 $ \theta$ 的值为：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
我们可以直接通过矩阵运算来求出参数 $\theta$ 的解。 而上式我们发现其涉及到了矩阵的可逆问题，如果 $(X^TX){-1} $可逆，那么参数 $\theta$ 的解唯一。 如果不可逆， 则此时就无法使用正规方程的方法来解。

3. 梯度下降法

我们可以采用批量梯度下降算法， 此时有：

$$\begin{gathered} {\theta }_j={\theta }_j-\alpha \frac{\delta }{\delta {\theta }_j}J(\theta ) \\ 带入J(\theta )得：{\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}))x_j^{(i)} \\ 或矩阵表达：{\theta }_j={\theta }_j+\alpha \frac{1}{m}(y-X\theta {)}^T{x}_j \end{gathered}$$

4. 两种方法的比较

• 梯度下降中需要选择适当的学习率 $\alpha $
• 梯度下降法中需要多次进行迭代，而正规方程只需要使用矩阵运算就可以完成
• 梯度下降算法对多特征适应性较好，能在特征数量很多时仍然工作良好， 而正规方程算法复杂度为 $O(n^3) $，所以如果特征维度太高（特别是超过 10000 维），那么不宜再考虑该方法。
• 正规方程中矩阵需要可逆。

2. 岭回归

岭回归本质上是 线性回归 + L2 正则化。
$${\hat{h}}_{\theta }(x)=h_{\theta }(x)+\lambda \sum _i{w}_i^2$$

岭回归与线性回归

线性回归中通过正规方程得到的 w 的估计：
$$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}y$$
但是，当我们有 N 个样本，每个样本有 $x_i\in R^p$， 当 N < p 时， $X^{T}X$ 不可逆， 无法通过正规方程计算，容易造成过拟合。

岭回归通过在矩阵 $X^{T}X$ 上加一个 $\lambda I$ 来使得矩阵可逆， 此时的 w 的估计：
$$\hat{w}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$$
而岭回归本质上是对 $L(w)$ 进行 L2 正则化， 此时的 $J(w)$ 表示为：
J ( w ) = ∑ i = 1 N ∣ ∣ w T x i − y i ∣ ∣ 2 + λ w T w = ( w T X T − Y T ) ( X w − Y ) + λ w T w = w T X