算法笔记1——线性回归

目录

 

1 吴恩达机器学习之线性回归

1.1单变量线性回归（Linear Regression with One Variable）

1.2多变量线性回归（Linear Regression with Multiple Variables）

1.3正则化线性回归

---

1 吴恩达机器学习之线性回归

1.1单变量线性回归（Linear Regression with One Variable）

假设函数（ ℎ?(?)=?0+?1?）中只含有一个特征/输入变量，称此问题为单变量线性回归问题。

方法：梯度下降的线性回归（Gradient Descent For LinearRegression）

将梯度下降和代价函数结合，应用于具体的拟合直线的线性回归算法之中。

目标：同时更新theta0、theta1，使得损失函数最小

①求代价函数的导数

 

 

②求theta

关键：同步更新theta0和theta1

1.2多变量线性回归（Linear Regression with Multiple Variables）

一、模型概述

①假设函数

 

②代价函数

③批量梯度下降算法如下

寻找一组使代价函数最小的参数值theta

④随机选择一系列参数值，计算预测结果，再给所有参数新值，如此循环迭代直到收敛

二、其他补充

（1）特征缩放（Feature Scaling）：为了让梯度下降能够运行得更快一点，使收敛得更快，迭代次数少一点。

（2）多项式回归

 

三、正规方程法

注：对于不可逆的矩阵（通常是因为特征之间不独立：eg同时包含英尺为单位和米为单位的尺寸，也有可能特征数量大于训练集数量），正规方程法不能使用。

附：公式推导如下

求偏导需用到两个矩阵求导法则

 

对代价函数求偏导

四、梯度下降与正规方程的比较

（1）梯度下降法必须使用特征缩放，正规方程法不用使用

（2）正规方程法在线性回归中是比梯度下降法更快的代替方法，但是在更复杂的模型中可能不能用，所以梯度下降法依旧重要

1.3正则化线性回归

①正则化线性回归的代价函数