Datawhale李宏毅深度学习笔记Task02

回归

回归定义

regression是找到一个function，通过输入特征x，输出一个y（scalar）。

模型步骤

1.model假设，选择model（线性、非线性；一元、多元）
y=b+w⋅xcpy = b + w·x_{cp}y=b+w⋅xcp
2.model评估，model的好坏判断（损失函数）
3.model优化，从model集里面挑选出最好的function（梯度下降）

步骤1：随机选取一个 w0
步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
大于0向右移动（增加w）
小于0向左移动（减少w）
步骤3：根据学习率移动
重复步骤2和步骤3，直到找到最低点

但是梯度下降的方法会出现以下问题：

• 问题1：当前最优（Stuck at local minima）
• 问题2：等于0（Stuck at saddle point）
• 问题3：趋近于0（Very slow at the plateau）

优化方法——更强大复杂的模型-1元N次线性模型

出现过拟合问题

训练集十分优秀，但是测试集效果反而变差。更高次数的式子包含低次数的式子，越复杂的model set可以找到一个function使得error rate越低。

步骤优化

1. redesign the model，四个线性模型合并到一个线性模型中，不同物种不一样的式子
   

2. 如果希望模型更强大表现更好，可以输入更多特征。
   

3. 加入正则化（regulation）
   平滑的function对输入不敏感，期待wi越小越好，输出对输入越不sensitive。

• λ越大，越倾向于考虑w的值，w越小，减少考虑error，越平滑
• λ越大，倾向于平滑的function，但是不要太平滑
• 不需要考虑b，找一个平滑的function，调整bfunction只会上下移动