Extracting and Composing Robust Features with Denoising Autoencoders(经典文章阅读)

一.文献名字和作者

    Extracting and Composing Robust Features with Denoising Autoencoders,  Pascal Vincent, Hugo Larochelle, Yoshua Bengio, Pierre-Antoine Manzagol

   

二.阅读时间

     2014年10月30日

三.文献的贡献点

    文章主要引入了一种新的用于预训练DNN的autoencoder--Denoising Autoencoder,与传统的autoencoder的区别在于，在训练的过程中，首先随机将输入中一些值置为0，得到，然后将作为普通的antoencoder的输入，计算出重构值z，然后将重构值z与原始值ｘ进行比较，计算误差，然后使用梯度下降更新参数。这个就是denoising autocoder的训练过程。Denoising autoencoder可以和普通autoencoder一样用于DNN的预训练。经过了加入噪声并进行降噪的训练过程，能够强迫网络学习到更加鲁棒的不变性特征，获得输入的更有效表达。

       图1. Denoising Autoencoder的处理流程

    如果这篇文章仅仅是引入了denoising autoencoder之后就进行实验，通过实验来证明它有用的话，那它也不会发表在ICML上面了，这篇文章还有一个亮点就是从数学上面分析了autoencoder的行为，这个才是这篇文章的亮点，虽然我还没看懂。

     图2. Denoising的数学模拟

    最后，作者通过实验说明了使用Denoising Autoencoder进行预训练的DNN能够获得更好的结果，这个也是后来很多DNN用denoising autoencoder进行训练的原因，不仅训练过程比RBM简单，效果也比较好。

    同时，从第一个隐藏层学习到的特征来看，随着加入的噪声的增加，学习到特征越来越对比较大的结构敏感，而对于局部特征不是很敏感。同时，也可以发现，随着噪声比例的增加，学习到特征越来越多样，而不像没加入噪声一样，学习到的特征很多是一样的。

四.实验结果

版权所有，欢迎转载，转载请注明出处，谢谢