基于L2,1范数的特征选择方法

本文来自于论文Feiping Nie, Heng Huang, Xiao Cai, Chris H. Q. Ding. Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization,NIPS,pp.1813-1821, 2010的阅读心得总结

该论文提出了一种基于损失函数和正则项的 L2,1 L 2 , 1 范数来实现一种高效、鲁棒的特征选择方法，并提供了算法分析和收敛性分析。
首先对比了 L1 L 1 和 L2 L 2 范数的特点：

• L1 L 1 和 L2 L 2 范数表现出一种结构化的正则化技术，但是主要用于二分类；而L2,1范数则是用于多分类
• L2 L 2 范数对野点非常敏感，基于 L2,1 L 2 , 1 范数的损失函数能够去除野点
• L2 L 2 范数倾向于ω 的分量取值尽量均衡，即非零分量个数尽量稠密，而 L0 L 0 范数和 L1 L 1 范数，则倾向于ω 的分量尽量稀疏，即非苓分量个数尽量少

论文的创新点在于：

• 受到 L2,1 L 2 , 1 范数的启发，将 L2,1 L 2 , 1 范数推广到一般情况，即 Lr,p L r , p 范数，同时证明了该范数满足范数的三个条件。
  相关的讨论为：
  
• 将损失函数的优化问题写成一种矩阵的形式，对利用Lagrange对该问题进行了优化，提出了一种比较有效、快速的算法。

首先是，将损失函数的 L2 L 2 范数全部转化为 L2,1 L 2 , 1 范数，即可以同步优化，为后面的优化过程提供了条件。

在该最小化目标函数的优化中，等价转化优化问题：

更进一步：

写成矩阵形式：

记：
即为

利用Lagrange方法，转化为：

求导（相关求导公式可以查看另外一篇博客） 矩阵L2,1范数及矩阵L2,p范数的求导：

其中

是对角阵，即有：

结合上式即有

此时U即为全局最优解，由于D矩阵中包含有U，因此需要迭代求解。算法步骤为：

关于迭代求解的收敛性证明（证明过程看论文），主要运用了引理：

同时，将该优化问题推广到更一般的情况（D仍为对角阵，f(U)是凸函数）：

迭代式：

该算法对基因组和蛋白质组生物标志物进行了实验，取得了高效、高准确度的效果。