第十四章、完全合作关系设定下的多智能体强化学习（MAC-A2C）

0 前言

根据上一章的内容，已知完全合作关系下的多智能体利益一致有相同的目标，获得的奖励相同即$R_t^1=R_t^2=R_t^3$。

1 完全合作关系设定下的策略学习

要注意的点：

• 状态$S=[O^1,O^2,\cdots ,O^m]$，所有智能体的观测之和是状态。
• 动作$A=[A^1,A^2,\cdots ,A^m]$。
• 奖励对于所有智能体来说是一样的。

2 完全合作关系设定下的多智能体A2C

回忆一下单智能体的A2C，我们有一个策略网络，有一个价值网络。
价值网络通过TD误差更新，策略网络通过策略梯度更新，实际上对于多智能体是一样的，我们同样需要一个策略网络、一个价值网络。

2.1 价值网络

价值网络输入是环境，输出是一个值，该网络用来是近似状态价值函数的，记该价值网络为$v(s,w)$。
TD目标：${\hat{y}}_t=r_t+\gamma \cdot v(s_{t+1},w)$
TD误差：${\delta }_t=v(s_t,w)-{\hat{y}}_t$
LOSS损失：$L(w)=\frac{1}{2}{\delta }_t^2$
更新$w$：$w\leftarrow w-\alpha \cdot {\delta }_t\cdot {\nabla }_{w}v(s_t,w)$

2.2 策略网络

对于策略网络的优化我们借助了一个目标函数$J(\theta )=E_{s,a}(Q_{\pi }(s,a))$，对于多智能体而言目标函数是$J({\theta }^1,{\theta }^2,\cdots ,{\theta }^m)=E_{s,a}(Q_{\pi }(s,a))$。

所以策略梯度计算可以表示为，${\nabla }_{{\theta }^i}J({\theta }^1,{\theta }^2,\cdots ,{\theta }^m)={\nabla }_{{\theta }^i}{E}_S({\sum }_A\pi (A|S)Q_{\pi }(S,A))\approx E_S({\sum }_A{\nabla }_{{\theta }^i}\pi (A|S)Q_{\pi }(S,A))=E_S({\sum }_A\pi (A|S)\cdot \frac{1}{\pi (A|S)}{\nabla }_{{\theta }^i}\pi (A|S)Q_{\pi }(S,A))=E_{S,A}(\frac{1}{\pi (A|S)}{\nabla }_{{\theta }^i}\pi (A|S)Q_{\pi }(S,A))=E_{S,A}({\nabla }_{{\theta }^i}ln(\pi (A|S))Q_{\pi }(S,A))$

因为$\pi (A|S)=\pi (A^1|S,{\theta }^1)\times \pi (A^2|S,{\theta }^2)\cdots \times \pi (A^m|S,{\theta }^m)$

所以${\nabla }_{{\theta }^i}ln(\pi (A|S))={\nabla }_{{\theta }^i}[ln(\pi (A^1|S,{\theta }^1))+ln(\pi (A^2|S,{\theta }^2))+\cdots +ln(\pi (A^m|S,{\theta }^m))]={\nabla }_{{\theta }^i}ln(\pi (A^i|S,{\theta }^i))$

因此，对于完全合作的多智能体A2C，单个智能体的策略梯度可以表示为：
${\nabla }_{{\theta }^i}J({\theta }^1,{\theta }^2,\cdots ,{\theta }^m)=E_{S,A}({\nabla }_{{\theta }^i}ln(\pi (A^i|S,{\theta }^i))[Q_{\pi }(S,A)-b])$
其中$Q_{\pi }(S,A)$改为$Q_{\pi }(S,A)-b$是一种带基线的情况，如果忘记可以参考之前的A2C章节，传送门：https://blog.csdn.net/m0_47719040/article/details/148770085?spm=1001.2014.3001.5502

2.3 训练及决策

实际训练过程中为了解决自举带来的高估问题，目标价值网络和价值网络采用不同的参数，具体原因不再赘述，之前的章节中已经做了详细的介绍。
当前价值网络：$w_{now}$。
目标价值网络：$w_{now}^{-}$。
当前m个策略网络的参数分别是${\theta }_{now}^1,{\theta }_{now}^2,\cdots ,{\theta }_{now}^m$。

• 当前状态$s_t=[o_t^1,\cdots ,o_t^m]$，让每一个智能体独立做随机抽样：
  $a_t^i\sim \pi (\cdot |s_t;{\theta }_{now}^i)$, $\forall i=1,\cdots ,m,$并执行选中的动作。
• 从环境中观测到奖励$r_t$与下一时刻状态$s_{t+1}=[o_{t+1}^1,\cdots ,o_{t+1}^m]$
• 让价值网络做预测：${\hat{v}}_t=v(s_t;w_{now})$
• 让目标网络做预测：${\hat{v}}_{t+1}^{-}=v(s_{t+1};w_{now}^{-})$
• 计算TD目标和TD误差：${\hat{y}}_t^{-}=r_t+\gamma \cdot {\hat{v}}_{t+1}^{-}$ ${\delta }_t={\hat{v}}_t-{\hat{y}}_t^{-}$
• 更新价值网络参数：$w_{new}\leftarrow w_{now}-\alpha \cdot {\delta }_t\cdot {\nabla }_{w}v(s_t;w_{now})$
• 更新目标网络参数：$w_{new}^{-}\leftarrow \tau \cdot w_{new}+(1-\tau )\cdot w_{now}^{-}$
• 更新策略网络参数：${\theta }_{new}^i\leftarrow {\theta }_{now}^i-\beta \cdot {\delta }_t\cdot {\nabla }_{{\theta }^i}ln\pi (a_t^i|s_t;{\theta }_{now}^i)$, $\forall i=1,\cdots ,m$