最小二乘法的理论推导

最小二乘法的理论推导

最小二乘法是一种通过最小化误差平方和来估计模型参数的方法。下面我将详细推导线性最小二乘法的理论过程，并给出相应的LaTeX公式。

问题描述

给定一组观测数据点$(x_i,y_i),i=1,2,...,n$，我们希望找到线性模型：

$$y=ax+b$$

使得模型预测值与实际观测值之间的误差平方和最小。

数学推导

1. 定义误差函数

对于每个数据点，定义误差$e_i$为：

$$e_i=y_i-(a{x}_i+b)$$

则所有数据点的误差平方和为：

$$S(a,b)=\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n[y_i-(a{x}_i+b){]}^2$$

2. 最小化误差平方和

为了找到最优的$a$和$b$，我们需要最小化$S(a,b)$。这可以通过对$a$和$b$分别求偏导并令其等于零来实现。

对$b$求偏导：

$$\frac{\partial S}{\partial b}=-2\sum _{i=1}^n[y_i-(a{x}_i+b)]=0$$

展开并整理：

$$\sum _{i=1}^n{y}_i-a\sum _{i=1}^n{x}_i-nb=0$$

得到关于$b$的方程：

$$nb=\sum _{i=1}^n{y}_i-a\sum _{i=1}^n{x}_i$$

因此：

$$b=\frac{1}{n}\sum _{i=1}^n{y}_i-a\frac{1}{n}\sum _{i=1}^n{x}_i=\bar{y}-a\bar{x}$$

其中$\bar{x}$和$\bar{y}$分别是$x$和$y$的样本均值。

对$a$求偏导：

$$\frac{\partial S}{\partial a}=-2\sum _{i=1}^n{x}_i[y_i-(a{x}_i+b)]=0$$

将$b=\bar{y}-a\bar{x}$代入上式：

$$\sum _{i=1}^n{x}_i(y_i-a{x}_i-\bar{y}+a\bar{x})=0$$

展开并整理：

$$\sum _{i=1}^n{x}_i{y}_i-a\sum _{i=1}^n{x}_i^2-\bar{y}\sum _{i=1}^n{x}_i+a\bar{x}\sum _{i=1}^n{x}_i=0$$

注意到${\sum }_{i=1}^n{x}_i=n\bar{x}$，所以：

$$\sum _{i=1}^n{x}_i{y}_i-a\sum _{i=1}^n{x}_i^2-n\bar{x}\bar{y}+an{\bar{x}}^2=0$$

将含$a$的项合并：

$$a\left(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2\right)=\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}$$

因此：

$$a=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{{\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2}$$

可以进一步表示为：

$$a=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}$$

3. 最终解

综上，我们得到了最小二乘估计的解：

斜率$a$的估计：

$$\hat{a}=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}=\frac{S_{xy}}{S_{xx}}$$

截距$b$的估计：

$$\hat{b}=\bar{y}-\hat{a}\bar{x}$$

其中：

• $S_{xy}={\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$ 是$x$和$y$的样本协方差
• $S_{xx}={\sum }_{i=1}^n(x_i-\bar{x}{)}^2$ 是$x$的样本方差

矩阵形式推导

对于更一般的情况，我们可以使用矩阵表示法推导最小二乘法。

1. 问题表述

设线性模型为：

$$\mathbf{y}=\mathbf{X}\mathbf{\beta }+\mathbf{ϵ}$$

其中：

• $\mathbf{y}$是$n\times 1$的观测向量
• $\mathbf{X}$是$n\times p$的设计矩阵
• $\mathbf{\beta }$是$p\times 1$的未知参数向量
• $\mathbf{ϵ}$是$n\times 1$的误差向量

2. 最小化目标

最小化残差平方和：

$$S(\mathbf{\beta })=(\mathbf{y}-\mathbf{X}\mathbf{\beta }{)}^{\top }(\mathbf{y}-\mathbf{X}\mathbf{\beta })$$

3. 求导并求解

对$\mathbf{\beta }$求导并令导数为零：

$$\frac{\partial S}{\partial \mathbf{\beta }}=-2{\mathbf{X}}^{\top }(\mathbf{y}-\mathbf{X}\mathbf{\beta })=0$$

得到正规方程：

$${\mathbf{X}}^{\top }\mathbf{X}\mathbf{\beta }={\mathbf{X}}^{\top }\mathbf{y}$$

若${\mathbf{X}}^{\top }\mathbf{X}$可逆，则解为：

$$\hat{\mathbf{\beta }}=({\mathbf{X}}^{\top }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\top }\mathbf{y}$$

结论

最小二乘法通过最小化误差平方和提供了线性模型参数的优化估计。对于简单线性回归，可以得到解析解；对于多元情况，可以通过矩阵运算求解。这种方法的优点是计算简单、理论成熟，且在满足高斯-马尔可夫定理条件下，得到的估计是最佳线性无偏估计(BLUE)。