【Python】Gym 库：于开发和比较强化学习（Reinforcement Learning, RL）算法

Gym 是 Python 中一个广泛使用的开源库，用于开发和比较强化学习（Reinforcement Learning, RL）算法。它最初由 OpenAI 开发，提供标准化的环境接口，允许开发者在各种任务（如游戏、机器人控制、模拟物理系统）中测试 RL 算法。Gym 的设计简单且灵活，适合学术研究和工业应用。2022 年，Gym 被整合到 Gymnasium（由 Farama Foundation 维护）中，成为主流的强化学习环境库。本文以 Gymnasium（gymnasium）为基础，兼容旧版 Gym（gym）。

以下是对 Python 中 Gym（Gymnasium）库的详细介绍，包括其定义、功能、用法、示例、最佳实践和注意事项。内容基于官方文档（截至 2025 年 6 月，Gymnasium v0.29+）和其他可靠来源（如 GitHub、Farama Foundation）。

---

1. Gym（Gymnasium）的定义和原理

1.1 定义

Gymnasium（前身为 Gym）是一个强化学习环境库，提供标准化的环境接口，用于开发和测试 RL 算法。每个环境定义了状态空间（observation space）、动作空间（action space）、奖励函数（reward function）和终止条件，模拟 RL 代理与环境的交互。

• 核心功能：

  • 标准化环境：提供多种预定义环境（如 Atari 游戏、MuJoCo 物理模拟、经典控制任务）。
  • 自定义环境：支持用户创建自定义 RL 环境。
  • 状态和动作空间：通过 gymnasium.spaces 定义离散或连续的空间。
  • 观测和奖励：提供环境反馈（状态、奖励、终止标志）。
  • 向量化支持：支持并行运行多个环境实例（VectorEnv）。
  • 兼容性：与主流 RL 库（如 Stable-Baselines3、Ray RLlib、PyTorch、TensorFlow）集成。

• 依赖：核心依赖 NumPy，可选依赖如 MuJoCo、Atari ROMs、PyGame。

1.2 原理

• 环境交互：RL 代理通过 env.step(action) 与环境交互，获取 (observation, reward, terminated, truncated, info)。
  • observation：当前状态（如图像、向量）。
  • reward：动作的奖励值。
  • terminated：是否达到终止状态（如任务完成）。
  • truncated：是否因外部限制（如时间）截断。
  • info：额外调试信息（字典）。
• 空间定义：
  • gymnasium.spaces.Discrete：离散动作/状态（如 0, 1, 2）。
  • gymnasium.spaces.Box：连续空间（如浮点向量）。
• 环境重置：通过 env.reset() 初始化环境，返回初始状态。

1.3 安装

Gymnasium 是当前推荐的版本，安装方式：

pip install gymnasium

• 特定环境支持：
  • 经典控制任务（默认包含）：

    pip install "gymnasium[classic-control]"
    

  • Atari 游戏：

    pip install "gymnasium[atari]"
    pip install "gymnasium[accept-rom-license]"  # 自动接受 ROM 许可
    

  • MuJoCo 物理模拟：

    pip install "gymnasium[mujoco]"
    

• 旧版 Gym（不推荐，维护已停止）：

  pip install gym
  

---

2. Gymnasium 的基本用法

2.1 创建和交互环境

使用 gymnasium.make 创建环境，通过 step 和 reset 交互。

示例（CartPole 环境）：

import gymnasium as gym

env = gym.make("CartPole-v1", render_mode="human")  # 创建环境，可视化
observation, info = env.reset(seed=42)  # 重置环境
for _ in range(1000):
    action = env.action_space.sample()  # 随机动作
    observation, reward, terminated, truncated, info = env.step(action)  # 执行动作
    if terminated or truncated:
        observation, info = env.reset()
env.close()  # 关闭环境

• 说明：
  • CartPole-v1：经典控制任务，目标是平衡小车上的杆。
  • render_mode="human"：显示图形界面。
  • action_space.sample()：从动作空间随机采样。

2.2 观察动作和状态空间

检查环境的动作和状态空间。

示例：

env = gym.make("CartPole-v1")
print(env.action_space)  # 输出: Discrete(2)（左右推车）
print(env.observation_space)  # 输出: Box([-4.8, -inf, -0.418, -inf], [4.8, inf, 0.418, inf], (4,), float32)

2.3 训练 RL 代理

结合 RL 算法（如 PPO from Stable-Baselines3）训练代理。

示例：

from gymnasium import make
from stable_baselines3 import PPO

env = make("CartPole-v1")
model = PPO("MlpPolicy", env, verbose=1)  # 使用 PPO 算法
model.learn(total_timesteps=10000)  # 训练 10000 步
model.save("ppo_cartpole")  # 保存模型

# 测试模型
obs, _ = env.reset()
for _ in range(1000):
    action, _states = model.predict(obs)
    obs, reward, terminated, truncated, _ = env.step(action)
    if terminated or truncated:
        obs, _ = env.reset()
env.close()

2.4 自定义环境

通过继承 gymnasium.Env 创建自定义 RL 环境。

示例：

import gymnasium as gym
from gymnasium.spaces import Discrete, Box
import numpy as np

class CustomEnv(gym.Env):
    def __init__(self):
        super().__init__()
        self.action_space = Discrete(2)  # 两个动作
        self.observation_space = Box(low=-1, high=1, shape=(1,), dtype=np.float32)
        self.state = 0
        self.steps = 0

    def reset(self, seed=None, options=None):
        super().reset(seed=seed)
        self.state = 0
        self.steps = 0
        return np.array([self.state], dtype=np.float32), {}

    def step(self, action):
        self.state += 0.1 if action == 1 else -0.1
        self.steps += 1
        reward = 1.0 if abs(self.state) < 0.5 else -1.0
        terminated = self.steps >= 100
        truncated = False
        return np.array([self.state], dtype=np.float32), reward, terminated, truncated, {}

env = CustomEnv()
obs, _ = env.reset()
for _ in range(10):
    action = env.action_space.sample()
    obs, reward, terminated, truncated, info = env.step(action)
    print(obs, reward)

---

3. 应用场景

1. 强化学习研究：

   • 测试 RL 算法（如 DQN、PPO、SAC）在标准环境（如 Atari、MuJoCo）上的性能。
   • 示例：训练 PPO 解决 CartPole。

2. 机器人控制：

   • 使用 MuJoCo 或 PyBullet 环境模拟机器人运动。
   • 示例：训练机械臂抓取物体。

3. 游戏 AI：

   • 在 Atari 或自定义游戏环境中开发 AI 代理。
   • 示例：训练 DQN 玩 Pong。

4. 工业仿真：

   • 模拟生产调度、物流优化等。
   • 示例：自定义环境优化仓库机器人路径。

5. 数据管道：

   • 将环境观测数据与 DocArray 或 Pydantic 结合，存储到数据库。
   • 示例：记录 Atari 游戏帧到向量数据库。

---

4. 最佳实践

1. 选择合适的渲染模式：

   • 使用 render_mode="rgb_array" 获取图像数据，render_mode="human" 用于可视化。
   • 示例：

     env = gym.make("CartPole-v1", render_mode="rgb_array")
     

2. 环境包装（Wrapper）：

   • 使用 gymnasium.Wrapper 自定义环境逻辑（如状态归一化、奖励缩放）。
   • 示例：

     from gymnasium.wrappers import NormalizeObservation
     env = NormalizeObservation(gym.make("CartPole-v1"))
     

3. 向量化环境：

   • 使用 gymnasium.vector.make 并行运行多个环境，加速训练。
   • 示例：

     envs = gym.vector.make("CartPole-v1", num_envs=4)
     

4. 异常处理：

   • 捕获环境错误（如 ROM 缺失、MuJoCo 许可）。
   • 示例：

     try:
         env = gym.make("Pong-v4")
     except ImportError:
         print("Install Atari dependencies")
     

5. 测试环境：

   • 使用 pytest 测试环境行为。
   • 示例：

     import pytest
     import gymnasium as gym
     
     def test_cartpole():
         env = gym.make("CartPole-v1")
         obs, _ = env.reset()
         assert env.observation_space.contains(obs)
         env.close()
     

6. 种子设置：

   • 使用 reset(seed=...) 确保实验可重复。
   • 示例：

     env.reset(seed=42)
     

---

5. 注意事项

1. Gym vs Gymnasium：

   • 旧版 Gym（gym）已停止维护，推荐使用 Gymnasium（gymnasium）。
   • 示例（迁移）：

     # 旧版
     import gym
     env = gym.make("CartPole-v0")
     # 新版
     import gymnasium as gym
     env = gym.make("CartPole-v1")
     

2. 环境版本：

   • Gymnasium 使用 v1 环境（CartPole-v1），旧版 v0 已弃用。
   • 示例：

     env = gym.make("CartPole-v1")  # 正确
     

3. 依赖问题：

   • Atari 和 MuJoCo 环境需要额外安装和配置（如 ROM 文件、MuJoCo 许可）。
   • 示例：

     pip install "gymnasium[accept-rom-license]"
     

4. 性能：

   • 向量化环境优于单环境循环，适合大规模训练。
   • 示例：

     envs = gym.vector.make("CartPole-v1", num_envs=8)
     

5. 动态环境：

   • Gym 不直接支持动态网页数据，需结合 beautifulsoup4 或 selenium。
   • 示例：

     from selenium import webdriver
     driver = webdriver.Chrome()
     driver.get("https://example.com")
     

---

6. 总结

Gymnasium（Gym）是强化学习领域的标准环境库，提供了丰富的预定义和自定义环境支持。其核心特点包括：

• 定义：标准化 RL 环境，定义状态、动作、奖励和终止条件。
• 功能：支持经典控制、Atari、MuJoCo、自定义环境和向量化。
• 应用：RL 研究、机器人控制、游戏 AI、工业仿真。

参考文献：

• Gymnasium 官方文档：https://gymnasium.farama.org/
• GitHub 仓库：https://github.com/Farama-Foundation/Gymnasium
• Stable-Baselines3 文档：https://stable-baselines3.readthedocs.io/
• Farama Foundation：https://farama.org/