深度强化学习之策略学习-王树森课程笔记

学习资料
深度强化学习课程-王树森

【基本思想】用一个神经网络（策略网络）来近似策略函数

一、Policy-based learning

策略学习：学习policy函数$\pi (a|s)$，用$\pi$控制agent做动作：

• 每观测到一个状态$s_t$，把$s_t$作为policy函数的输入,$\pi$函数输出每一个动作的概率；
• 用得到的概率做随机抽样得到$a_t\sim \pi (\cdot |s_t)$；
• agent执行动作$a_t$.

二、Policy Network

Policy Network $\pi (a|s;\mathbf{\theta })$：策略网络，用于近似policy函数$\pi (a|s)$。

• $\mathbf{\theta }$：神经网络的参数，一开始是随机初始化的，通过不断地学习来改进$\mathbf{\theta }$

以超级玛丽为例

1. 输入：状态$s$，即当前屏幕显示的画面或最近几帧的画面；
2. 一个或几个卷积层把画面变成特征向量；
3. 全连接层把特征向量映射到一个三维向量（因为有三个动作，所以维度是三）；
4. 用softmax激活函数输出概率分布，输出的是三维向量，每一个元素对应一个动作，值为动作的概率。

policy函数是概率密度函数，需满足${\sum }_{a\in A}\pi (a|s;\mathbf{\theta })=1$；
 使用softmax函数：让输出值都是正数且加和等于一。

三、 Policy-Based Reinforcement Learning（策略学习）

1. 用神经网络近似状态价值函数$V_{\pi }$

State-value function：状态价值函数

对$Q_{\pi }$关于动作$A$求期望把$A$消掉（这里$A$是随机变量，概率密度函数是$\pi$，$A\sim \pi (\cdot |s_t)$），得到的$V_{\pi }$只与$\pi$和状态$s$有关
$$V_{\pi }(s_t)=E_A[Q_{\pi }(s_t,A)]=\sum _a\pi (a|s_t)\cdot Q_{\pi }(s_t,a)$$$$V_{\pi }(s_t)=E_A[Q_{\pi }(s_t,A)]=\int \pi (a|s_t)\cdot Q_{\pi }(s_t,a)da$$

用策略网络近似策略函数：把$V_{\pi }$中的$\pi (a|s_t)$替换成神经网络$\pi (a|s_t;\mathbf{\theta })$，得到对状态价值函数的近似$V(s;\mathbf{\theta })$
$$V(s_t;\mathbf{\theta })=\sum _a\pi (a|s_t;\mathbf{\theta })\cdot Q_{\pi }(s_t,a)$$

直观意义：

• $V$可以评价状态$s_t$和策略网络的好坏；
• 给定状态$s_t$，策略网络越好$V$越大。

2. 策略学习的主要思想

如何让策略网络越来越好？
 改进模型参数$\mathbf{\theta }$让$V(s;\mathbf{\theta })$变大。

目标函数：
$$J(\mathbf{\theta })={\mathbb{E}}_S[V(S;\mathbf{\theta })]$$

• 把状态$S$作为一个随机变量，关于状态$S$求期望以去掉$S$，变量只剩$\mathbf{\theta }$；
• 目标函数$J(\mathbf{\theta })$是对策略网络的评价，目标网络越好，$J(\mathbf{\theta })$越大。

策略学习目的：改进$\mathbf{\theta }$使得$J(\mathbf{\theta })$越大越好。

3. 策略梯度算法

如何改进模型参数$\mathbf{\theta }$？
  Policy gradient ascent 策略梯度算法

• 观测到状态$s$：相当于从状态的概率分布中随机抽样出来的。

• 更新策略：把$V(s;\mathbf{\theta })$关于$\mathbf{\theta }$求导得到一个梯度，并用梯度上升来更新$\mathbf{\theta }$
  $$\mathbf{\theta }\leftarrow \mathbf{\theta }+\beta \cdot \underset{\text{Policy Gradient}}{\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}}$$

  • $\beta$：学习率；
  • 相当于随机梯度上升（真正的梯度是$J(\mathbf{\theta })$关于$\mathbf{\theta }$的导数），随机性来源于$s$；
  • 梯度上升：让目标函数$J(\mathbf{\theta })$变得越来越大。

3.1 Policy Gradient

策略梯度：函数$V(s;\mathbf{\theta })$对神经网络参数$\mathbf{\theta }$的导数$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}$。

两种等价形式：

• Form1：$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}={\sum }_a\frac{\partial \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot Q_{\pi }(s,a)$

• Form2：$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}={\mathbb{E}}_{A\sim \pi (\cdot |s;\mathbf{\theta })}[\frac{\partial \log \pi (A|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot Q_{\pi }(s,A)]$

动作是离散的：action space $A$={”left”, “right”, “up”}

使用Form1：$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}={\sum }_a\frac{\partial \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot Q_{\pi }(s,a)$

1. $f(a,\mathbf{\theta })=\frac{\partial \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot Q_{\pi }(s,a),a\in A$；
2. Policy gradient：$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}=f(\text{"left"},\mathbf{\theta })+f(\text{"right"},\mathbf{\theta })+f(\text{"up"},\mathbf{\theta })$；

❗ 这种方法对连续动作不适用

动作是连续的：action space $A=[0,1]$

使用Form2：$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}={\mathbb{E}}_{A\sim \pi (\cdot |s;\mathbf{\theta })}[\frac{\partial \log \pi (A|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot Q_{\pi }(s,A)]$

用蒙特卡洛近似计算期望

蒙特卡洛：抽一个或很多随机样本，用随机样本来近似期望

1. 根据概率密度函数$\pi (\cdot |s;\mathbf{\theta })$随机抽样得到一个动作$\hat{a}$；
2. 计算$\text{g}(\hat{a},\mathbf{\theta })=\frac{\partial \log \pi (\hat{a}|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot Q_{\pi }(s,\hat{a})$；
   a. 根据定义${\mathbb{E}}_A[\text{g}(A,\mathbf{\theta })]=\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}$；
   b. 由于$\hat{a}$是根据概率密度函数$\pi$随机抽样得到的，所以$\text{g}(\hat{a},\mathbf{\theta })$是策略梯度$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}$的无偏估计；
3. 由于$\text{g}(\hat{a},\mathbf{\theta })$是策略梯度$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}$的无偏估计，可以用$\text{g}(\hat{a},\mathbf{\theta })$来近似策略梯度$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}$（蒙特卡洛近似）。

这种方法对离散动作同样适用

3.2 策略梯度算法

每轮迭代执行以下六步：

1. 在$t$时刻观测到状态$s_t$；
2. 用蒙特卡洛近似计算策略梯度：把策略网络$\pi (\cdot |s_t;{\mathbf{\theta }}_t)$作为概率密度函数，用它随机抽样得到一个动作$a_t$；
3. 计算价值函数的值$q_t\approx Q_{\pi }(s_t,a_t)$；
4. 对策略网络$\pi (\cdot |s_t;{\mathbf{\theta }}_t)$求导：${\text{d}}_{\theta ,t}=\frac{\partial \log \pi (a_t|s_t,\mathbf{\theta })}{\partial \mathbf{\theta }}{|}_{\mathbf{\theta }={\mathbf{\theta }}_t}$，得到的结果${\text{d}}_{\theta ,t}$是向量矩阵或张量，大小与$\mathbf{\theta }$相同；
5. 近似计算策略梯度：$\text{g}(a_t,{\mathbf{\theta }}_t)=q_t\cdot {\text{d}}_{\theta ,t}$；
6. 更新策略网络：${\mathbf{\theta }}_{t+1}={\mathbf{\theta }}_t+\beta \cdot \text{g}(a_t,{\mathbf{\theta }}_t)$

---

如何计算第三步的动作价值函数的值 $q_t\approx Q_{\pi }(s_t,a_t)$？

方法一：REINFORCE算法

• 用策略网络$\pi (a|s;\mathbf{\theta })$控制agent运动，从开始到结束，把整个游戏的轨迹记录下来：$s_1,a_1,r_1,s_2,a_2,r_2,...,s_T,a_T,r_T$；
• 观测到所有奖励后可以算出return $u_t={\sum }_{k=t}^T{\gamma }^{k-t}{r}_k$；
• 由于动作价值函数是$U_t$的期望，即$Q_{\pi }(s_t,a_t)=\mathbb{E}[U_t]$，可以用$U_t$的观测值$u_t$来近似$Q_{\pi }(s_t,a_t)$；
• 用观测到的$u_t$来代替函数$Q_{\pi }(s_t,a_t)$，即$q_t=u_t$.

缺点：需要玩完一局游戏，观测到所有奖励后才能更新策略网络

方法二：用神经网络近似$Q_{\pi }$函数

• actor-critic方法（将价值学习和策略学习结合起来）