一元线性回归推导

一元线性回归系数的推导

  假设有n个离散的点$(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$，我们要拟合一条直线$y=mx+b$来寻找$x$和$y$的关系。
  我们通过最小化平方误差来求拟合直线的系数$m$和$b$。
最小化平方误差squared error
$$\begin{array}{rl}S{E}_{LINE}& =\sum _{i=1}^n(y_i-(m{x}_i+b){)}^2\\ & =\sum _{i=1}^n{y}_i^2-2m\sum _{i=1}^n{x}_i{y}_i-2b\sum _{i=1}^n{y}_i+2mb\sum _{i=1}^n{x}_i+m^2\sum _{i=1}^n{x}_i^2+n{b}^2\\ & =n\overline{y^2}-2mn\overline{xy}-2bn\overline{y}+2mbn\overline{x}+m^{2}n\overline{x^2}+n{b}^2\end{array}$$
分别对$m$和$b$求偏导可得
$$\{\begin{array}{l}m\overline{x^2}+b\overline{x}=\overline{xy}\\ m\overline{x}+b=\overline{y}\end{array}$$
从而有$m=\frac{\overline{xy}-\overline{x}\overline{y}}{\overline{x^2}-{\overline{x}}^2}=\frac{Cov(X,Y)}{Var(X)}$
即可得到回归系数。