Sparse Filtering(泛读)

一.文献名字和作者

     Sparse Filtering, Jiquan Ngiam, PangWei Koh, Zhenghao Chen, Sonia Bhaskar, Andrew Y. Ng

   

二.阅读时间

    2015年2月2日

三.文献的贡献点

    文章主要提出了一种只有一个参数--特征个数的无监督特征学习算法，sparse filtering。该算法的主要特点就是超参只有一个，同时计算速度比较快。

    Sparse Filtering还具有下面的三个特点：

    1.population sparsity；表示对于每一个样本，只有少数的特征是激活的。

    2.lifetime sparsity;表示每一个特征只有在少数的样本中是激活的。

    3.high dispersal；表示每一个特征的激活分布都是类似的。

    作者提出了一种简单的特征学习算法来满足population sparsity的同时也满足high dispersal。在满足上述两个约束的前提下，也能强迫lifetime约束。

    作者也提到了可以将该方法用于训练深度神经网络，只要采用类似于训练auto-encoder的贪心算法，逐层进行训练就可以了。

四.实验结果

版权所有，欢迎转载，转载请注明出处，谢谢。