机器学习 正则化(regularization)

方法
1.丢弃一些特征,手工或者使用一些算法(如PCA)
2.正则化,保留特征,但是减少参数大小.

正则化
高次项导致了过度拟合,所以只要将高次项的系数逼近为0的话,就可以拟合了,既在一定程度上减少参数 θ θ 的值.
这里写图片描述
其中 λ λ 称为正则化参数(regularization parameter),根据惯例,不需要对 θ0 θ 0 进行惩罚.
机器学习 正则化(regularization)_第1张图片

正则化线性回归
这里写图片描述
机器学习 正则化(regularization)_第2张图片
调整可得
这里写图片描述
可以看出变化在于每次都在原有算法更新的基础上令 θ θ 值减少了一个值.
正则化逻辑回归
机器学习 正则化(regularization)_第3张图片
代价函数
这里写图片描述
求导
机器学习 正则化(regularization)_第4张图片

你可能感兴趣的:(数据挖掘)