强化学习原理python篇03——贝尔曼最优公式

本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning Optimal State Values and Bellman Optimality Equation章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

例子

对于网格世界这样一个例子，其贝尔曼公式中的R和P为

R = np.array([-1, 1, 1, 1]).reshape(-1, 1)
P = np.array(
    [
        [0, 1, 0, 0],
        [0, 0, 0, 1],
        [0, 0, 0, 1],
        [0, 0, 0, 1],
    ])

求解状态值

给定$\gamma =0.9$，利用上一节的解析解求解公式得到状态值

closed_form_solution(R, P, 0.9)

array([[ 8.],
       [10.],
       [10.],
       [10.]])

求解行动值

$$\begin{array}{rl}{q}_{\pi }(s_1;a_1)=& -1+\gamma v_{\pi }(s_1)=6.2\\ q_{\pi }(s_1;a_2)=& -1+\gamma v_{\pi }(s_2)=8\\ q_{\pi }(s_1;a_3)=& 0+\gamma v_{\pi }(s_3)=9\\ q_{\pi }(s_1;a_4)=& -1+\gamma v_{\pi }(s_1)=6.2\\ q_{\pi }(s_1;a_5)=& 0+\gamma v_{\pi }(s_1)=7.2\end{array}$$
发现a3的action value是最大的，因此我们应该更新策略到s3上。

贝尔曼最优公式（Bellman optimality equation）

当位于状态s1的处于策略${\pi }_1$状态值，大于策略${\pi }_2$状态值，则策略${\pi }_1$是更好的策略。

定义

贝尔曼最优公式数学表达式为：
$$v_{\pi }(s)=\underset{\pi }{\max }{\int }_{a\in A}\pi (a|s){\int }_{r\in R}rf(r|s,a)drda+\gamma {\int }_{a\in A}f(s^{\prime }|s,a){\int }_{s^{\prime }\in S}{v}_{\pi }(s^{\prime })\pi (a|s)d{s}^{\prime }da$$
向量形式
$$V=\underset{\pi }{\max }{R}_{\pi }+\gamma P_{\pi }V$$

求解

$$\begin{array}{rl}{v}_{\pi }(s)=& \underset{\pi }{\max }{\int }_{a\in A}\pi (a|s){\int }_{r\in R}rf(r|s,a)drda+\gamma {\int }_{a\in A}f(s^{\prime }|s,a){\int }_{s^{\prime }\in S}{v}_{\pi }(s^{\prime })\pi (a|s)d{s}^{\prime }da\\ =& \underset{\pi }{\max }{\int }_{a\in A}\pi (a|s)q(s,a)da\end{array}$$

$\underset{\pi }{\max }{\int }_{a\in A}\pi (a|s)q(s,a)da=\underset{\pi }{\max }q(s,a)$

Contraction mapping theorem

BOE（Bellman optimality equation）是一个contractive function，符合Contraction mapping theorem，便可以使用该定理求解。

步骤

• 1、初始化$v_k(s_i)$
• 2、计算$q_k(s_i,a)=r_{\pi }(s_i|a)+\gamma {\int }_{s_j\in S}{v}_{\pi }(s_j)p_{\pi }(s_j|s_i,a)d$
• 3、计算s状态贪婪策略 ${\pi }_{k+1}$
  • ${\pi }_{k+1}(a|s)=\{\begin{array}{c}1,a=a_k^{\ast }(s)\\ 0,a\ne a_k^{\ast }(s)\end{array}$,where $a=\underset{a}{\mathrm{argmax}}{q}_k(s,a)$
• 4、$v_{k+1}(s)=max{q}_k(s,a)$
• 5、迭代至收敛

例子

首先建立q-value矩阵，对于这个例子，action value的值如下所示，则q-value代表对应状态和行动下的回报期望

	a1	a2	a3	a4	a5
s1	-1+$\gamma v_{s1}$	-1+$\gamma v_{s2}$	0+$\gamma v_{s3}$	-1+$\gamma v_{s1}$	0+$\gamma v_{s1}$
s2	-1+$\gamma v_{s2}$	-1+$\gamma v_{s2}$	1+$\gamma v_{s4}$	0+$\gamma v_{s1}$	0+$\gamma v_{s2}$
s3	0+$\gamma v_{s1}$	1+$\gamma v_{s4}$	-1+$\gamma v_{s3}$	-1+$\gamma v_{s3}$	0+$\gamma v_{s3}$
s4	-1+$\gamma v_{s2}$	-1+$\gamma v_{s4}$	-1+$\gamma v_{s4}$	0+$\gamma v_{s3}$	1+$\gamma v_{s4}$

则 q-value table 为

q_table = np.array(
    [
        [-1, -1, 0, -1],
        [-1, -1, 1, 0],
        [0, 1, -1, -1],
        [-1, -1, -1, 0],
    ]
)

求解 最大的$v$和$\pi$

import numpy as np

def p_under_a_matrix(v):
    v = v.reshape(-1)
    v = np.array(
        [
            [v[0], v[1], v[2], v[0], v[0]],
            [v[1], v[1], v[3], v[0], v[1]],
            [v[0], v[3], v[2], v[2], v[2]],
            [v[1], v[3], v[3], v[2], v[3]],
        ]
    )
    return v
    
def max_v_and_pi(q_table, gamma, n_iter):
    # solve BOE using Contraction mapping theorem
    n = q_table.shape[0]
    # 初始化 v0
    v = np.random.rand(n).reshape(-1, 1)

    for i in range(n_iter):
        q_value = q_table + gamma * p_under_a_matrix(v)
        v = np.max(q_value, axis=1).reshape(-1, 1)
        pi = np.argmax(q_value, axis=1).reshape(-1, 1)
    return pi, np.round(v)

max_v_and_pi(q_table, 0.9, 100)


max_v_and_pi(q_table, 0.9, 100)

输出

(
# 为a1,a2,a3,a4,a5的索引
(array([[2],
        [2],
        [1],
        [4]], dtype=int64),
 array([[ 9.],
        [10.],
        [10.],
        [10.]]))

第一个矩阵为最优策略，如表所示

	a1	a2	a3	a4	a5
s1			$\surd$
s2			$\surd$
s3		$\surd$
s4					$\surd$

第二个矩阵为最优state value。

从s1出发，根据最优策略选择，用利用上一节的解析解确认一下状态值是否正确

R = np.array([0, 1, 1, 1]).reshape(-1, 1)
P = np.array(
    [
        [0, 0, 1, 0],
        [0, 0, 0, 1],
        [0, 0, 0, 1],
        [0, 0, 0, 1],
    ]
)

closed_form_solution(R,P,0.9)

输出

array([[ 9.],
       [10.],
       [10.],
       [10.]])

证明在100次迭代后获得了最优策略和最优状态值。

Ref

Mathematical Foundations of Reinforcement Learning，Shiyu Zhao