机器学习之Online Passive-Aggressive Algorithms(回归)

上一篇博客http://blog.csdn.net/sihuahaisifeihua/article/details/50651024主要说了PA算法在二类分类的应用，这篇博客说一说其在回归问题上的应用(我觉得这篇文章还是值得研究的)，代码的实现也是很容易的，但是这里我就不在给出代码，仅仅把论文的公式推导一下，关于代码实现真心很简单。。。
此时的误差函数(e-insensitive hinge losee)定义为：
l(w;(x,y))={0−−−|wx−y|≤ε|wx−y|−εotherwise
我们的优化目标变为：
wt+1=argminw∈Rn12||w−wt||2 s.t.l(w;(xt,yt)))=0
使用拉格朗日数乘法：

Loss=12(w−wt)(w−wt)T+λ|wx−y|−λε
∂Loss∂λ=|wx−y|−ε=0， ∂Loss∂w=w−wt+λxsign(wx−y)=0

wxT−y−(wtxT−y)+λxxTsign(wx−y)=0

when(wxT−y>0)=>ε−(wtxT−y)+λ||x||2=0

when(wxT−y<0)=>−ε−(wtxT−y)−λ||x||2=0

=>>λ=lt||x||2,wt+1=wt+λxtsign(wxt−y)