2024年1月16日Arxiv热门深度强化学习论文：IDENTIFYING POLICY GRADIENT SUBSPACES

揭秘强化学习之谜，图宾根大学和马普所发现策略梯度的低维奥秘，开启高效AI训练新纪元！

引言：深度强化学习中的梯度子空间探索

深度强化学习（Deep Reinforcement Learning, DRL）在解决复杂的连续控制任务中取得了显著成就，从Atari游戏到各种真实的机器人挑战，DRL的成功案例不胜枚举。然而，由于使用了大量参数的函数逼近器和持续变化的数据分布，深度RL方法往往显得脆弱，优化过程中存在挑战。在这样的背景下，策略梯度方法（Policy Gradient, PG）作为DRL的一种重要技术，其训练效率的提升成为研究的焦点。近期的研究表明，在监督学习中，通过利用梯度存在于一个低维且缓慢变化的子空间这一现象可以加速学习过程。本文将这一现象的研究扩展到了深度策略梯度方法，并通过对两种流行的深度策略梯度方法在各种模拟基准任务上的评估，证实了即使在强化学习中数据分布持续变化的情况下，梯度子空间的存在依然成立。这一发现为未来在强化学习中实现更高效的学习，例如通过改进参数空间探索或实现二阶优化，提供了有希望的研究方向。

声明：本期论文解读非人类撰写，全文由赛博马良「AI论文解读达人」 智能体自主完成，经人工审核后发布。

智能体传送门：赛博马良-AI论文解读达人

神奇口令： 小瑶读者 （前100位有效）

论文标题: IDENTIFYING POLICY GRADIENT SUBSPACES

机构:

1. Max Planck Institute for Intelligent Systems, Tübingen, Germany
2. Hertie Institute for Clinical Brain Research, Tübingen, Germany
3. Institute for Computer Engineering, University of Heidelberg, Germany

论文链接: https://arxiv.org/abs/2401.06604

梯度子空间的定义与在监督学习中的应用

1. 梯度子空间的定义

梯度子空间是指在参数空间中，梯度向量所存在的一个低维且变化缓慢的子空间。在神经网络优化过程中，研究表明这些梯度并不是分布在整个高维空间中，而是聚集在某个较低维度的子空间里。这个现象意味着优化过程可以在这个降维后的子空间中进行，从而提高学习效率，同时几乎不会损失性能。

2. 在监督学习中的应用

在监督学习中，利用梯度子空间的结构化优化方法已经显示出加速学习的潜力。例如，通过主成分分析（PCA）提取前几个主要成分作为子空间，然后在这个子空间内应用随机梯度下降（SGD）或BFGS算法，可以实现比在原始参数空间中更优的学习性能。此外，还有研究利用梯度子空间来进行二阶优化，通过在低维子空间中构建损失函数的二阶泰勒近似，可以有效地进行优化。

深度强化学习的挑战与梯度子空间的潜力

1. 深度强化学习的挑战

深度强化学习（RL）在多个领域取得了显著的成就，但其训练过程中存在着挑战。由于使用了大量参数的函数逼近器，并且数据分布持续变化，这使得优化过程变得异常困难。深度RL通常在有限的先验知识和结构信息的情况下进行，而是通过与环境的直接交互来从经验中学习。

2. 梯度子空间在深度强化学习中的潜力

尽管在监督学习中梯度子空间得到了广泛的应用，但在深度RL中的应用还相对有限。策略梯度（PG）方法，如PPO和SAC，直接估计RL目标的梯度来更新策略参数，是将梯度子空间知识从监督学习迁移到RL中的自然选择。研究表明，尽管RL中数据分布不断变化，梯度子空间仍然存在，并且相对稳定。这一发现为未来在RL中更高效的学习，例如通过改进参数空间探索或启用二阶优化，提供了有希望的方向。

在深度RL中，梯度子空间的发现为提高RL性能提供了新的视角，尤其是在参数空间探索或二阶优化方面。例如，可以在低维子空间中进行优化，以便有效计算和反转Hessian矩阵，从而使二阶优化方法成为可能。此外，考虑到优化主要发生在有限的子空间内，将探索限制在这些方向上可能会更有效，因为它可以将探索集中在与任务相关的参数空间方向上。

方法详解：策略梯度算法中的梯度子空间分析

1. 策略梯度方法的基础

策略梯度（Policy Gradient, PG）方法是深度强化学习（Deep Reinforcement Learning, RL）中的一种算法，它通过直接估计强化学习目标函数的梯度来更新策略参数。这种方法的核心是利用随机梯度下降（Stochastic Gradient Descent, SGD）来优化策略参数θ，即通过计算目标函数J(θ)相对于θ的梯度∇θJ(θ)。PG方法的一个关键特点是它们能够处理连续控制任务，但它们的训练效率可以通过利用优化问题中的结构来提高。

2. 梯度子空间的识别与评估

在监督学习（Supervised Learning, SL）中，研究表明梯度存在于一个低维且变化缓慢的子空间中。这一发现促使人们尝试将这种结构用于策略梯度方法中。通过识别和利用这些梯度子空间，可以在这个降维的子空间中进行优化，从而提高效率并保持性能。在PG算法中，梯度子空间的识别首先涉及到计算损失函数相对于网络参数的Hessian矩阵的特征向量，这些特征向量代表了最大和最小曲率的方向。通过分析Hessian矩阵的特征值谱，可以确认存在几个具有显著较大曲率的方向，这意味着问题是病态的（ill-conditioned）。接着，通过计算原始梯度g与投影到高曲率子空间后的梯度˜g之间的相对投影误差，可以评估这个子空间是否包含了相应损失的梯度。

3. 梯度子空间的稳定性分析

理想情况下，我们希望能够识别一个在训练过程中保持不变的子空间。实际上，梯度子空间在训练过程中不会保持完全不变，但如果它变化缓慢，就有可能重复使用早期时间步的信息，并以较低的频率更新子空间。为了验证这一点，研究者们通过计算不同时间步t1和t2之间识别的子空间的重叠度来分析子空间的稳定性。结果表明，尽管子空间重叠度随着时间步的增加而降低，但在训练结束时仍然有相当大的重叠，这表明早期子空间的信息可以在后续的时间步中被重复使用。

实验设计：基准任务与算法实现

实验设计涉及将PG算法应用于各种模拟的RL基准任务。研究者们选择了两种流行的PG算法：Proximal Policy Optimization（PPO）和Soft Actor-Critic（SAC），分别代表了在策略上和离策略上的RL。这些算法被应用于OpenAI Gym、Gym Robotics和DeepMind Control Suite中的十二个基准任务。实验使用Stable Baselines3的算法实现，并基于RL Baselines3 Zoo中的调优超参数。实验结果揭示了在这些任务中梯度子空间的存在，并通过对比不同阶段的训练过程来评估梯度子空间的稳定性。

实验结果表明，在PG算法的训练中，尽管数据分布不断变化，但梯度确实存在于一个低维、变化缓慢的高曲率子空间中。这一发现为未来在更高效的强化学习中利用梯度子空间提供了有希望的方向，例如通过改进参数空间的探索或实现二阶优化。

实验结果与分析

1. 梯度子空间的存在性与特征

在对深度策略梯度方法的实验中，我们发现了梯度子空间的存在性，并对其特征进行了分析。通过计算损失函数相对于网络参数的Hessian矩阵的特征向量，我们验证了存在一些参数空间方向展现出显著更大的曲率（如图1所示）。这些方向跨越了一个由这些特征向量张成的子空间，而且这个子空间在强化学习（RL）训练过程中相对稳定。

2. 梯度子空间对优化效率的影响

我们进一步分析了梯度子空间对优化效率的影响。实验结果表明，梯度在由高曲率方向张成的子空间中占有显著的比例（如图2所示）。这意味着在这个低维子空间中进行优化可以有效地捕捉到梯度信息，从而可能提高优化效率。此外，我们还发现即使是在小批量梯度和Hessian的估计中，梯度子空间的分数仍然相当可观，这对于实际训练中的应用是重要的。

3. 梯度子空间在不同算法中的表现

在不同的算法中，梯度子空间的表现也有所不同。我们对比了两种流行的策略梯度算法——PPO和SAC——在多个模拟RL基准任务中的梯度子空间。结果显示，尽管在不同算法和任务中梯度子空间的稳定性和包含梯度的程度存在差异，但整体上梯度子空间在训练的不同阶段都保持了相对稳定性（如图3所示）。这为未来在RL中利用梯度子空间提供了有价值的见解。

讨论：梯度子空间在强化学习中的应用前景

梯度子空间在强化学习中的应用前景是值得期待的。尽管RL中的数据分布不断变化，我们的实验结果表明，PPO和SAC中的演员（actor）和评论家（critic）网络的梯度仍然位于一个低维、缓慢变化的高曲率子空间中。这一发现为未来的研究提供了两个潜在的应用方向：

1. 优化子空间：当前在强化学习中常用的网络架构相对较小，但优化问题的维度仍然相当大。常用的优化器如Adam主要依赖梯度信息，而在高维度中每个时间步计算Hessian矩阵将非常耗费计算资源。然而，我们的研究表明，优化问题是病态的（ill-conditioned），二阶方法如牛顿法对于病态问题是适合的。通过在低维子空间而不是原始参数空间中进行优化，可以有效地计算和反转Hessian矩阵，使得二阶优化方法变得可行。
2. 引导参数空间探索：探索的质量显著影响了RL算法的性能。大多数RL算法通过向策略产生的行动应用不相关的噪声来进行探索，但这通常导致效率低下的探索，特别是在过度驱动的系统中，相关的驱动是至关重要的。一种可行的替代方法是将探索噪声应用于策略参数。我们的研究观察到，策略梯度方法主要利用的梯度几乎完全位于所有参数空间方向的一个小子空间内。考虑到优化主要发生在一个受限的子空间中，将探索限制在这些方向上可能是有益的。仅在高曲率子空间中采样参数噪声可能是一种将探索集中在有信息的参数空间方向上的方法。

总之，梯度子空间的发现为强化学习中的优化和探索提供了新的视角和工具，有望在未来的研究和应用中发挥重要作用。

结论与展望：梯度子空间对深度强化学习的启示

本文的研究表明，在深度强化学习（RL）中，尽管数据分布不断变化，策略梯度方法的梯度仍然存在于一个低维、变化缓慢的高曲率子空间中。这一发现对于未来提高强化学习效率具有重要启示，例如，通过改进参数空间探索或实现二阶优化。

1. 高曲率子空间解释了奖励景观中的悬崖现象

Sullivan等人（2022）在研究PPO优化策略的奖励景观时，观察到存在“悬崖”现象，即在策略梯度方向上，参数的小幅变化会导致累积奖励增加，但超出一定范围后奖励会急剧下降。本文第4.2节的结果为这一现象提供了可能的解释：策略梯度倾向于位于策略损失的高曲率方向，而在随机方向上则不会出现这种情况。

2. 梯度子空间在强化学习中的潜力

利用梯度子空间的性质在监督学习（SL）中已经证明是有益的，例如Li等人（2022a）和Chen等人（2022）的工作。本文的分析表明，类似的子空间也可以在流行的策略梯度算法中找到。以下是利用梯度子空间属性的两个机会：

• 优化子空间：尽管在强化学习中常用的网络架构与其他机器学习领域的模型相比较小，但优化问题的维度仍然相当大。常用的优化器，如Adam，通常只依赖于梯度信息，因为在高维度下每个时间步都计算Hessian矩阵将非常耗时。然而，本文第4.1节表明，优化问题是病态的。二阶方法，如牛顿法，适用于病态问题。本文的洞察表明，通过在低维子空间而非原始参数空间中进行优化，可以有效地计算和求逆Hessian矩阵，从而使二阶优化方法成为可能。
• 引导参数空间探索：探索行为的质量显著影响RL算法的性能。大多数RL算法通过向策略产生的行动应用不相关的噪声来进行探索。然而，这通常导致探索效率低下，特别是在过度驱动的系统中，相关驱动至关重要。一种可行的替代方法是将探索噪声应用于策略参数。在第4节中，我们观察到策略梯度方法利用的梯度主要位于所有参数空间方向的一个小子空间内。考虑到优化主要发生在一个受限的子空间中，将探索限制在这些方向上可能是有利的。仅在高曲率子空间中采样参数噪声是一种将探索集中在有信息的参数空间方向上的可能方法。

声明：本期论文解读非人类撰写，全文由赛博马良「AI论文解读达人」 智能体自主完成，经人工审核后发布。

智能体传送门：赛博马良-AI论文解读达人

神奇口令： 小瑶读者 （前100位有效）