神经网络与深度学习学习笔记 第六章 循环神经网络

CSDN和我兰的小伙伴好呀，开学不久，事务繁忙，将近两个月没有更新了，本期为大家更新邱锡鹏老师《神经网络与深度学习》这本书循环神经网络这一章的学习笔记，本人能力有限，希望抛转引玉，为学习这一本书的小伙伴们提供一些思路与启发

由于邱老师比较注重版权，因此在此声明，所有内容全部为学习邱老师课程及讲义的学习心得，不得用于任何类型的盈利活动，所有知识版权全部归邱锡鹏老师所有，在此仅做二次加工，以进行学术交流与分享！本博客分享结合邱老师的网课食用效果更佳！

话不多说，我们直接开始正文！

1.如何给神经网络增加记忆能力？

前馈神经网络的局限性

我们首先来看一下前馈神经网络（包括全连接神经网络和卷积神经网络）有什么局限性

(1)输入输出维度是固定的

在此，邱老师明确指出，前馈神经网络的问题在于无法处理变长序列。

(2)每次输入对应一个输出, 是独立的

后一时刻的输出既可能依赖之前时刻的输入也可能依赖之前时刻的输出（或者有更复杂的依赖关系）

我们需要设计一个网络，来自动的处理这种无限且相互依赖的自相关序列关系

邱老师还列举了一些例子，如有限状态自动机和图灵机。（尝试用一种我不懂的东西解释另外一个我不懂的东西）

在此，我就再列举两个非常生动的例子以说明这种无限延伸的、具有依赖关系的序列关系。

麻将就是一个典型的有限状态自动机(无限的、具有依赖关系的变长序列), 在麻将游戏中，状态可以表示当前的牌局情况，输入符号可以表示玩家的动作（如摸牌、打牌、吃牌、碰牌、杠牌、胡牌等），状态转移函数则描述了在给定输入下状态如何变化。在麻将中，状态可以包括当前玩家的牌、其他玩家的牌、牌