Machine Learning by Andrew Ng 学习笔记()

监督学习

非监督学习

监督学习的一般流程与术语
x和y

训练模型

训练模型即最小化代价函数的过程,有如下方法

梯度下降法

模型下降法(Gradient Descent)有一个很形象的帮助理解的方法(对于2个参数的情况)


Machine Learning by Andrew Ng 学习笔记()_第1张图片

快速收敛的Tricks

经验为主

特征缩放(Feature Scaling)

  • 均值归一化(Mean Normalization)

损失函数变大

学习率过大,overshooting

线性回归(Linear Regression)

损失函数:

逻辑回归(Logistic Regression)

损失函数:
最大似然估计(maximum likelihood estimation)

不用手动选择alpha(线性搜索法line search自动选择)
比梯度下降法更快
更复杂

多分类问题

共轭梯度法(Conjugate Gradient)
DFP
BFGS

overfitting:有太多feature,hypothesis很容易拟合当前数据,loss接近0,但是不能很好的泛化
high variance

你可能感兴趣的:(Machine Learning by Andrew Ng 学习笔记())