深度强化学习之价值学习-王树森课程笔记

学习资料
深度强化学习课程-王树森

【基本思想】学习一个函数来近似$Q^{\ast }$函数

一、 Value-based learning

价值学习：学习最优价值函数$Q^{\ast }(s,a)$，用$Q^{\ast }$控制agent做动作：

• 每观测到一个状态$s_t$，把$s_t$作为$Q^{\ast }$函数的输入，用$Q^{\ast }$函数对每一个动作做评价，得到每一个动作的Q值；
• 选择让$Q^{\ast }$函数最大化的动作$a$作为下一个动作$a_t$：$a_t=argma{x}_a{Q}^{\ast }(s_t,a)$。

二、 Deep Q-Network (DQN)

1. 原理

本质：用一个神经网络Q(s, a; w)近似Q*(s, a)

• 神经网络的参数：w
• 神经网络的输入：状态s
• 神经网络的输出：很多数值，这些数值是对所有可能的动作的打分，每一个动作对应一个分数

通过奖励来学习神经网络，神经网络给动作的打分就会逐渐改进，打分越来越准

奖励是强化学习中的监督信号，DQN靠奖励来训练。

2. DQN结构（以超级玛丽为例）

1. 把屏幕画面（当前状态$s_t$）作为输入；
2. 用一个卷积层把图片变为特征向量；
3. 用几个全连接层把特征映射到一个输出向量，该输出的向量就是对动作的打分，向量的每一个元素对应一个动作的打分。

3. 用DQN操作Agent打游戏

1. 当前观测到状态$s_t$；
2. DQN将$s_t$作为输入，给所有动作打分，选出分数最高的动作作为$a_t$，agent执行动作$a_t$；
3. 环境改变状态：用状态转移函数随机抽取新的状态$s_{t+1}\sim p(\cdot |s_t,a_t)$，并给出奖励$r_t$；
4. 重复循环1~3直至游戏结束。

三、 Temporal Difference Learning（TD算法）

Temporal Difference Learning：用于训练DQN

以开车从NYC到Atlanta为例

1. 原始算法（类似BP）

• 预测模型$Q(w)$预测路程时长，参数为$w$
• 预测值$q=Q(w)$，出发前预测得到$q=1000$ min
• 到达目的地得到真实值（target）$y=860$ min
• 损失函数Loss：$L=\frac{1}{2}(q-y{)}^2$
• Gradient：$\frac{\partial L}{\partial w}=\frac{\partial q}{\partial w}\cdot \frac{\partial L}{\partial q}=(q-y)\cdot \frac{\partial Q(w)}{\partial w}$
• Gradient descent：$w_{t+1}=w_t-\alpha \cdot \frac{\partial L}{\partial w}{|}_{w=w_t}$（用梯度下降更新模型参数$w$，减小Loss，用$w_{t+1}$进行预测，预测值会更接近真实值）
  • $\alpha$ ：学习率（步长）

算法缺点：必须完成整个旅途才能对模型进行更新

2. TD算法

• 出发前模型预测 NYC→Atlanta：1000min (estimate)

• 真实观测 NYC→DC：300min (actual)

• 模型更新预测 DC→Atlanta：600min (estimate)

• TD target：y=300+600=900min（包含事实成分，比最初的估计1000min更可靠）

  【算法优点】

  1. TD target比最初的估计更准确，且越接近终点（Atlanta）越准；
  2. 不用跑完整个路程去得到真实的时间开销（在此案例中，到达DC后算出y=900就可以更新模型了）

• Loss：$L=\frac{1}{2}(Q(w)-y{)}^2=\frac{1}{2}(1000-900{)}^2$

• TD error：$\delta =Q(w)-y=1000-900=100$

  • 另一角度：
    • 模型预测：NYC→Atlanta：1000min；DC→Atlanta：600min；NYC→DC：400min
    • TD error：$\delta =400-300=100$

• Gradient：$\frac{\partial L}{\partial w}=(Q(w)-y)\cdot \frac{\partial Q(w)}{\partial w}$

• Gradient descent：$w_{t+1}=w_t-\alpha \cdot \frac{\partial L}{\partial w}{|}_{w=w_t}$

【算法目标】让TD error $\delta$ 尽量接近于0

3. 用TD算法学习DQN

3.1 应用条件

等式左边有一项，右边有两项，右边两项中有一项是真实观测到的，即：$estimate\approx actual+estimate$

如上述案例中： $T_{NYC\to ATL}\approx T_{NYC\to DC}+T_{DC\to ATL}$

在深度强化学习中： $\underset{\text{Prediction}}{Q(s_t,a_t;w)}\approx \underset{\text{TD target}}{r_t+\gamma \cdot Q(s_{t+1},a_{t+1};w)}$

• 相邻两个折扣回报之间的关系：$U_t=R_t+\gamma \cdot U_{t+1}$
  $$\begin{array}{rl}{U}_t& =R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+{\gamma }^3{R}_{t+3}+\cdots \\ & =R_t+\gamma (R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots )\end{array}$$
• $t$时刻DQN输出的值$Q(s_t,a_t;w)$是对$U_t$做出的估计$\mathbb{E}[U_t]$
• $t+1$时刻DQN输出的值$Q(s_{t+1},a_{t+1};w)$是对$U_{t+1}$做出的估计$\mathbb{E}[U_{t+1}]$
• 所以，$\underset{\approx \mathbb{E}[U_t]}{Q(s_t,a_t;w)}\approx \mathbb{E}[R_t+\gamma \cdot \underset{\approx \mathbb{E}[U_{t+1}]}{Q(s_{t+1},a_{t+1};w)]}$

3.2 更新模型参数

1. $t$时刻模型做出预测：$Q(s_t,a_t;w_t)$
2. $t+1$时刻，观测到真实的奖励$r_t$，新状态$s_{t+1}$，用DQN算出下一个动作$a_{t+1}$，从而计算出TD target
   a. 计算$a_{t+1}$：DQN对每一个动作打分，分数最高的动作被选出来作为$a_{t+1}$
   b. TD target：
   $$\begin{array}{rl}{y}_t& =r_t+\gamma \cdot Q(s_{t+1},a_{t+1};w_t)\\ & =r_t+\gamma \cdot \underset{a}{\max }Q(s_{t+1},a;w_t)\end{array}$$
3. Loss：$L_t=\frac{1}{2}[Q(s_t,a_t;w)-y_t{]}^2$
4. Gradient descent：$w_{t+1}=w_t-\alpha \cdot \frac{\partial L_t}{\partial w}{|}_{w=w_t}$