【NLP】循环神经网络--RNN学习.day3

一.初步认识RNN

循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的深度学习模型。与传统的静态神经网络相比，RNN 可以有效处理输入数据的时间序列特性。这使得 RNN 在处理自然语言处理（NLP）、时间序列预测、音频处理等任务时非常有效。以下是对 RNN 的详细解释。

1. 基本结构

1.1. 结构图示:

在传统的神经网络中，信息是单向流动的，而 RNN 具有一个循环结构，允许信息在时间步骤之间进行传递。下面是 RNN 的基本结构：

  x1 → [ H1 ] 
         ↑
  x2 → [ H2 ]
         ↑
  x3 → [ H3 ]
          ...

• 输入 $(x_t)$: 输入序列的第 (t) 个元素，如文本中的每个单词或时间序列数据中的每个点。
• 隐藏状态 $(H_t)$: RNN 的隐藏状态，存储之前时间步的信息用于当前时间步的计算。

常见的RNN架构如下图两种：

1.2. 计算步骤:

对于 RNN，每个时间步的隐藏状态计算如下：

$$H_t=\text{tanh}(W_{hh}{H}_{t-1}+W_{hx}{x}_t+b)$$

• ( W h h ) : 隐藏层到隐藏层的权重矩阵。 (W_{hh}): 隐藏层到隐藏层的权重矩阵。