深度学习 - Deep Learning Tutorials

本文翻译自：http://deeplearning.net/tutorial/#deep-learning-tutorials 

深度学习是机器学习的一个新领域，它的出现使机器学习朝着它的原始目标——人工智能，更近了一步。相关信息可以查看 Brief introduction to Machine Learning for AI 和 Introduction to Deep Learning algorithms.

深度学习会学习关于文本、图像、声音等数据的多层表示和抽象，这些表示和抽象能够帮助我们更好的理解数据。关于深度学习的更多算法，请参考：

• The monograph or review paper Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009).

• The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list of references.

• The LISA public wiki has a reading list and a bibliography.

• Geoff Hinton has readings from 2009’s NIPS tutorial.

本文会向你展示关于深度学习最重要的一些算法，同时告诉你如何使用 Theano 来实践这些算法。Theano是一个python库，使得实现深度学习算法更加容易，同时也提供了一些选项来让这些算法在GPU上运行。

学习这些算法，你需要对python有所了解，尤其要对numpy比较熟悉。由于算法实现是基于Theano，所以需要先通过“Theano基本指南”来学习Theano。在完成了这些之后，可以进一步阅读“Getting Started”章节，这里介绍了一些相关概念、符号和数据集，以及使用随机梯度下降来优化模型的方法，这些都会在接下来的算法中会涉及。

相关的监督学习算法可以按以下顺序来阅读：

1. Logistic Regression - using Theano for something simple

2. Multilayer perceptron - introduction to layers

3. Deep Convolutional Network - a simplified version of LeNet5

非监督学习和半监督学习算法可以以任意顺序来阅读（auto-encoders可以独立于RBM/DBN来阅读）：

• Auto Encoders，Denoising Autoencoders - description of autoencoders

• Stacked Denoising Auto-Encoders - easy steps into unsupervised pre-training for deep nets

• Restricted Boltzmann Machines - single layer generative RBM model

• Deep Belief Networks - unsupervised generative pre-training of stacked RBMs followed by supervised fine-tuning

如果要创建mcRBM模型，这里有一篇关于从能量模型中抽样的综述：

• HMC Sampling - hybrid (aka Hamiltonian) Monte-Carlo sampling with scan()

如果要创建the Contractive auto-encoders， 下面是相关的代码：

• Contractive auto-encoders code - There is some basic doc in the code.

如果要创建Recurrent neural network with word embeddings and context window，下面是教程：

• Semantic Parsing of Speech using Recurrent Net

如果要创建LSTM network for sentiment analysis，下面是教程：

• LSTM network
  

如果要创建Energy-based recurrent neural network (RNN-RBM)，下面是教程：

• Modeling and generating sequences of polyphonic music