深度神经网络主题报告

听Ng的报告的理解

个特征表达力的问题，传统方法特征表达力，不如DeepLearning的多层学习得到的更有效果的表达。 用学术上的术语来说，身高和体型是两个Marginallyindependent的变量，即如果观察到了他们产生的结果，他们就不独立了。也就是如果身高和体型在用于检测这种疾病的时候，他们就不独立了，因此需要有一种特征表示的方式来表示他们的这种不独立性，能够combine他们以形成更好的特征。而这种更结构化的特征，需要大量的语料才能training到位。而独立性的特征，往往少部分语料就可以获得很好的结果，但随着语料数量的提高，无法observe到结构化的特征，因此更多的语料就浪费了。我们都知道这是AI领域的XOR问题，也就是二层神经网络就能求解，换言之，多层神经网络mining出来更好的特征。

   

     接着Ng也直观的展示了，从像素级特征(表达力最弱）到edges级特征，直到object级特征。从edges特征大家看到的这个形式，其实是深度神经网络的edges中的一个小块，就是input layer到第一个hidden layer之间的一组边（如果是RBM 的话）或者是第一个hidden layer到output layer的一组边，这组边可以理解成training的成果。而hidden layer是一个sparse coding的向量，用来combine不同组的边来还原出input layer。

     因此可以看到，通过深度学习的处理，无需taggeddata，通过自学习的方式，就可以做到特征的表达力从像素级，提高到了 object models，多么美妙啊，难怪Ng用了Amazing这个词，而且再一次地露出了特有的微笑。