基于CTDE MAPPO的无线通信资源分配强化学习实现

基于CTDE MAPPO的无线通信资源分配强化学习实现

摘要

本文提出了一种基于集中训练分散执行(CTDE)框架的多智能体近端策略优化(MAPPO)方法，用于解决无线通信网络中的资源分配问题。我们设计了一个多基站协作环境，其中每个基站作为独立智能体，通过分布式决策实现网络吞吐量最大化。实验结果表明，MAPPO算法在频谱效率和用户公平性方面显著优于传统启发式算法。

1. 引言

1.1 研究背景

随着5G/6G通信技术的发展，无线网络资源分配问题日益复杂。传统优化方法难以应对动态变化的网络环境，而强化学习(RL)通过与环境交互学习最优策略的特性，使其成为解决此类问题的理想选择。

1.2 问题描述

考虑一个多小区无线网络场景：

• 多个基站(BS)覆盖相邻区域
• 每个基站服务多个用户设备(UE)
• 可用频谱资源有限
• 目标：最大化网络总吞吐量，同时保证用户公平性

1.3 CTDE MAPPO优势

• CTDE框架：训练时利用全局信息，执行时仅需局部观测
• MA