机器学习：线性回归、损失函数、导数、偏导

一、线性回归

线性回归：利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式；

一元线性回归：目标值只与一个自变量有关系；

多元线性回归：目标值与多个自变量有关系。

线性回归流程图：

二、损失函数

误差：用预测值y – 真实值y就是误差；

损失函数：衡量每个样本预测值与真实值效果的函数。

回归的损失函数：

• 均方误差 *(Mean-Square Error, MSE)
  

• 平均绝对误差 (Mean Absolute Error , MAE)
  
  备注：h（x）为y的预测值。

三、导数与偏导

（一）导数

1.基本概念

导数：当函数y=f（x）的自变量x在一点$x_0$上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在$x_0$处的导数，记作$f^{\prime }(x_0)$或df($x_0$)/dx。导数是函数的局部性质。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。

2.常用导数

3.求导的常用运算法则

（1）四则运算

（2）复合函数求导（链式法则）

导数求极值：当导数等于0时，往往就是函数的极值点。

例：

（二）偏导

当存在多个自变量时，只对其中一个自变量求导，同时将其它自变量视为常量的情况理解为求偏导。

通常表示为：

举例：