【统计学习3】线性回归：R方（R-squared）及调整R方（Adjusted R-Square）

第一：R方（R-squared）

定义：衡量模型拟合度的一个量,是一个比例形式，被解释方差/总方差。

公式：R-squared = SSR/TSS

                            =1 -  RSS/TSS

其中：TSS是执行回归分析前，响应变量固有的方差。

          RSS残差平方和就是，回归模型不能解释的方差。

          SSR回归模型可以解释的方差。

综上，R-squared 比列值区间在【0，1】

第二：线性回归模型下，R方和相关系数

相关系数公式

我们知道，相关系数衡量两个变量【预测变量X,响应变量Y】之间的"距离"。

1、一元线性回归

R方在一元线性回归模型中，衡量【响应变量X和预测变量Y】的线性关系。

R方=cor（X,Y)^2

但是在多元线性回归模型中，因为涉及多个预测变量，所有R方就是衡量响应变量和多个预测变量之间的关系。

而相关系数，只是衡量一对变量之间的关系，所有就不能推广了。

2、多元线性回归模型

R平方=cov（y，yi）^2

其中相关系数的两个变量变成，响应值和线性回归的预测值了。当然一元线性也同样适用了。

第三：调整R方（Adjusted R-Square）

另一个公式  R-squared = 1-   (RSS/（n-p-1)) / (TSS/(n-1))

因为在模型中，增加多个变量，即使事实上无关的变量，也会小幅度条R平方的值，当时其是无意义，所有我们调整了下，降低R平方的值。

简单地说就是，用r square的时候，不断添加变量能让模型的效果提升，而这种提升是虚假的。
利用adjusted r square，能对添加的非显著变量给出惩罚，也就是说随意添加一个变量不一定能让模型拟合度上升