强化学习的前世今生（四）— DDPG算法

接前三篇
强化学习的前世今生（一）
强化学习的前世今生（二）
强化学习的前世今生（三）— PPO算法
本文为大家介绍DDPG算法

6 DDPG

前文所述方法存在两个问题，第一，因为得到的是随机性策略(Stochastic Policy)，即$\pi (a|s)$，该策略表示固定动作下各动作的概率，故须要满足离散动作空间的假设；第二，因为行为策略与目标策略相同，故算法是在线的，样本效率低，此时策略称为在线策略(on-policy)。为解决上述两个问题，研究人员设计出深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)算法，采用确定性策略(Deterministic Policy)$\mu (s)$，建立从状态到动作的确定性映射，以扩展到连续动作空间的，同时采用离线的策略梯度进行策略更新，从而可以通过经验回访池(Replay Buffer)存储历史数据，并离线优化策略。

首先，将目标函数重新定义为
$$\begin{array}{rl}J(\theta )& =\int {\nu }^{{\pi }_{\beta }}(s)V^{{\pi }_{\theta }}(s)ds\\ & =\int {\nu }^{{\pi }_{\beta }}(s)Q^{{\pi }_{\theta }}(s,{\mu }_{\theta }(s))ds\end{array}\text{\hspace{1em}(6.1)}$$
上式中，行为策略${\pi }_{\beta }$与目标策略${\pi }_{\theta }$不同，故满足离线要求。

可以近似地得到目标函数的梯度
$${\nabla }_{\theta }J(\theta )\approx {\mathbb{E}}_{s\sim {\nu }^{{\pi }_{\beta }}(s)}[{\nabla }_{\theta }{\mu }_{\theta }(s){\nabla }_a{Q}^{{\mu }_{\theta }}(s,a){|}_{a={\mu }_{\theta }(s)}]\text{\hspace{1em}(6.2)}$$
上式中期望内部可以理解为，先估计出$Q^{{\mu }_{\theta }}$，然后认为动作价值函数的形式固定，不再随$\theta$而改变，可记为$Q=Q^{{\mu }_{\theta }}$，最后对$Q(s,{\mu }_{\theta }(s))$求梯度${\nabla }_{\theta }Q(s,{\mu }_{\theta }(s))$，从整体看，通过上式进行梯度上升优化的过程即为对固定的$Q$函数，找到一个确定性策略${\mu }_{\theta }$，使得不论状态服从何种状态访问分布，在期望意义下最大化$Q$值。

对于价值网络，优化目标是使得$Q_w(s_i,a_i)$逼近TD目标$r_{i+1}+\gamma Q_w(s_i^{\prime },{\mu }_{\theta }(s_i^{\prime }))$，然而，TD目标本身就包含策略网络和价值网络的输出，因此在频繁更新网络参数$w,\theta$的同时TD目标也在不断改变，这容易导致神经网络训练的不稳定性。为解决此问题，DDPG通过另一套神经网络来计算TD目标，这样的网络称为目标网络，记为$Q_{w^{-}},{\mu }_{{\theta }^{-}}$，而原来的网络称为训练网络，这样便可以固定住TD目标，使其单次在优化中保持不变。在DDPG中，目标网络采用了软更新的方式，即在每次样本迭代中，让目标网络参数缓慢更新，逐渐接近训练网络，即
$$\begin{array}{rl}{w}^{-}& \leftarrow \varphi w+(1-\varphi )w^{-}\\ {\theta }^{-}& \leftarrow \varphi \theta +(1-\varphi ){\theta }^{-}\end{array}\text{\hspace{1em}(6.3)}$$
其中$\varphi$是一个很小的正数。

DDPG的伪代码如下：

---

1 初始化策略网络参数$\theta$和价值网络参数$w$

2 复制相同参数到目标策略网络参数${\theta }^{-}$和目标价值网络参数$w^{-}$，即令$w^{-}\leftarrow w,{\theta }^{-}\leftarrow \theta$

3 如果策略网络参数或价值网络参数没有收敛，循环执行

4 获取环境初始状态$s_0$，循环执行

5 根据噪声和当前策略${\pi }_{\theta }$选择动作$a_t={\mu }_{\theta }(s_t)+ϵ$

6 执行动作$a_t$，得到奖励$r_t$，进入下一个状态$s_{t+1}$

7 将$(s_t,a_t,r_t,s_{t+1})$放入经验回放池$\mathcal{R}$

8 从经验回放池$\mathcal{R}$中抽样$N$个元组$\{(s_i,a_i,r_i,s_i^{\prime }){\}}_{i=1,\cdots ,N}$

9 对每个元组，通过目标网络计算$y_i=r_{i+1}+\gamma Q_{w^{-}}(s_i^{\prime },{\mu }_{{\theta }^{-}}(s_i^{\prime }))$

10 构造价值网络的损失函数
$$L(w)=\frac{1}{N}\sum _{i=1}^N(y_i-Q_w(s_i,a_i){)}^2$$
11 自动推导梯度并更新价值网络参数$w\leftarrow w-{\alpha }_w{\nabla }_{w}L(w)$

12 构造策略网络的目标函数
$$J(\theta )=\frac{1}{N}\sum _{i=1}^N{\gamma }^t{Q}_w(s_i,{\mu }_{\theta }(s_i))$$
13 自动推导梯度并更新价值网络参数$\theta \leftarrow \theta +{\alpha }_{\theta }{\nabla }_{\theta }J(\theta )$

14 采用软更新的方式更新目标网络参数
$$\begin{array}{rl}{w}^{-}& \leftarrow \varphi w+(1-\varphi )w^{-}\\ {\theta }^{-}& \leftarrow \varphi \theta +(1-\varphi ){\theta }^{-}\end{array}$$

---

参考 动手学强化学习