ϵ-greedy Policies

$ϵ$-greedy Policies

非常简单的平衡探索(Explotation)和利用(Exploitation)的思想是通过确保整个过程随机来实现的。实际上就是随机和贪心相结合。

这个策略在论文里一般一句话就可以概括:$ϵ$-greedy policy that selects a random action with probability $ϵ$ or otherwise follows the greedy policy $a=\underset{a}{\mathrm{argmax}}{Q}^{\pi }(s,a)$

• 简单的去平衡探索和利用的思想
• 记$|A|$是所有可能的动作的数量
• 那么针对state-action的价值$Q^{\pi }(s,a)$的$ϵ$-greedy策略是:
  $$\pi (a|s)=\{\begin{array}{l}\underset{a}{\mathrm{argmax}}{Q}^{\pi }(s,a)withprobability1-ϵ\\ awithprobability\frac{ϵ}{|A|}\end{array}$$

这是一个非常简单的策略，但好的地方在它够用了。

下面是它有效的证明。

证明$ϵ$-greedy策略能单调提升

Greedy in the Limit of Infinite Exploration(GLIE)

GLIE的定义

• 所有的state-action对都是无限次的被访问即
  $\underset{i\to \infty }{\lim }{N}_i(s,a)\to \infty$

• 那么行为策略会收敛到贪心策略
  $\underset{i\to \infty }{\lim }\pi (a|s)\to \mathrm{argmax}Q(s,a)withprobablity1$
  即百分之百收敛到贪心策略

• 一个简单的GLIE策略是 $ϵ$-greedy，其中$ϵ$以${ϵ}_i=\frac{1}{i}$的比率逐渐减小到0