感知器的学习过程

Hinton机器学习与神经网络中文课-----第二章 感知器的学习过程

本课程主要是我自己学习“Hinton机器学习与神经网络中文课”的笔记，如有哪里不合适还请浏览者见谅。本文主要记录学习的第二章 感知器的学习过程
课时6：神经网络架构介绍
1、前馈神经网络
在现实生活中最常见的神经网络构架是前馈神经网络

输入单元在倒数第一层，输出单元在顶层，中间的是隐藏单元（当隐藏单元大于一层，我们就称之为深度神经网络。）。
在每一层都会得到新的输入。举个例子我们想在语言系统中的不同人说的相同的话接近一样，为了实现这个想法，我们需要将每层神经元的激活函数是前一层神经元输出值的非线性函数。
2、循环神经网络（很难被训练出来）

循环神经网络中包含一定的有向环，意思是我们开始于一个神经元，经过运行后我们可能会回到当初开始的那个神经元。
循环网络是对时序数据建模的一种非常好的方法
3、双向对偶网络
在两个方向里单元之间的权重是一样的（相对循环网络来说比较简单）
课时7：感知器
感知器可以感知像素的亮度，并且很容易地学会累加全部的亮度。感知器中的决策单元是一个二元阈值神经元

课时8：感知器的几何空间解析

上图是一个练习案例。它定义了一个空间，在这个2D图片里，这个空间只是一条穿原点的黑色的线而且它与输入向量垂直（蓝色表示）
我们来分析下这个案例，它的正确答案是1，加权向量需要在超平面的正确的一边，为了得到正确的结果需要在超平面的同一边，像绿色向量一样的加权向量，它和输入向量所成的角要小于90°，所以输入向量和加权向量的内积将是一个正值。由于我们已经减去阈值也就意味着输出结果的概率值可以直接表明这是一个正向样例，这也是我们所期待的正确答案。相反的如果我们有一个加权向量像红色的线在错误的一边，所夹角大于90°，输入向量和加权向量的内积是负的，感知器就会显示错误或者是0，所以是负向样例。
我们再看另一个不一样的输入向量：

这一次输出0是表示正确的
课时9：感知器的原理透析
本课我们将学习一个输入向量通过学习过程获取指向特定输出方案的权值组合
我们假设对于所有的培训案例都有正确的答案的例证存在我们叫它可行向量，是可视向量的一个例子（在下图中，用绿色标记出来了），所有我们从加权向量开始，得到一些错误的练习案例，在图表中显示这些案例就是错误的，每当得到一个错误的案例时，感受器都会通过更接近可行向量的办法更新元素的加权向量。因此，我们可以从可行向量中 表示元素的权重向量的平方距离作为输入向量沿线平方距离之和定义这个学习案例。垂直的平方距离不会改变而且沿线输入的向量平方距离会变得更小，所以我们希望每次感受器出错时，我们元素的加权向量可以更接近于所有的可行向量


我们在上图中看到的金色小点是可行向量，按照我们上述做法我们会离可行向量越来越远，所以我们的方法是不可行的。但我们可以完善它能正常运行
所以接下来我们要做的是定义一个全能的可行的加权向量，这个加权向量不仅可以在所有的练习案例中不出错，而且通过最少一个一定大小的间距就能得到正确答案，这个间距的长度在这个案例中和输入向量的长度一样，所有我取可行解的锥，而且在里面我有另一个锥形的全能可行的解决措施，这个措施纠正了所有错误。现在我们可以断定，每次感知器出错时，所有可行的权向量的平方距离将至少减少更新向量的平方长度也就是我们更新的内容。

总结：首先假设有一个全能的可行加权向量，在每次感知器出错元素加权向量从每一个全能的可行向量移动缩小了它的平方距离是通过最小电流输入向量的平方长度完成的。因此，所有的全能的可行权重向量的平方距离都减小了平方长度，假设没有无限小的输入向量就意味着在有限的错误之后权向量必须位于可行域，如果这个区域存在，它就不必依靠在全能可行的区域但至少要进入可行域来停止犯错。这就是一个非正式的草图。
课时10：感知器的局限性
本课研究感知器的局限性
感知器的局限性缘自你使用的各种特征，如果你使用了正确的特征你几乎可以做任何的事；如果你用了错误的特征，这些特征会急剧限制感知器学习特征的运行。
如果你想让感知器判断一个句子是否可能是一个好句子，就找到大量的特征来给它加权。但从长远来看你需要学习特征。
如果用手工编码就会导致人们需要把所以的情况全部编码，机器不会自己学习。
举一个例子：
我们的目标是当输入两个相同的值时输出1，当输入两个不同的值时输出0（用到二进制）

但实际结果是不可能办到的，原因如下：

输出1条件是：w11+w21>临界值 w10+w2>临界值
输出0的条件是w11+w20<临界值 w10+w21<临界值
把第一行相加= w1+w2>2临界值
把第二行相加= w1+w2<2临界值
所以根本不可能成立
以上就是本次课程的全部笔记