B站：李宏毅2020机器学习笔记 2 —— 回归Regression

总览学习目录篇 链接地址：https://blog.csdn.net/xczjy200888/article/details/124057616

一、例子：宝可梦进化预测

1. 第一步：构造模型

2. 第二步：判断模型函数的好坏

根据模型得到的输出 和 真实的输出 比较，来判断函数的好坏

3. 第三步：挑选最好的函数

通过调整函数的参数，使得损失函数loss最小化

4. 第四步：使用梯度下降算法优化函数参数

问题：可能陷入局部最优，而不能求得全局最优

5. 第五步：重新选择函数

6. 第六步：重新定义和计算损失函数

• 添加λ项，为什么参数值要越小？
  参数值都接近0，说明函数是比较平滑的，平滑的话，表示对输入的变化不敏感。我们更喜欢平滑函数，但是不能太过平滑。

二、基本概念

1. 改进模型的方向

1.1 结果误差来源：

• 偏差过大：underfitting 欠拟合
• 方差过大：overfitting 过拟合
  
  

1. 当N无穷大的时候，$m=\mu$
2. 期望值 $E=\mu$
3. 方差
   
   左边的图（大偏差，小方差）：模型选择时，最优点（红心点）就实现不了，偏差加大，但方差较小
   
   右边的图（小偏差，大方差）：模型范围很广，偏差较小，但方差较大

2. 改进模型的方法

2.1 偏差大：修改为更复杂的模型

• 更多的特征维度输入
• 更复杂的模型函数
  

2.2 方差大：更多训练样本，正则化

• 更多训练样本
• 正则化
  

2.3 模型选择

• 权衡方差和偏差
• 在平衡方差和偏差下，最小化模型整体误差