论文阅读06-Task Offloading Optimization in Mobile Edge Computing based on Deep Reinforcement Learning

标题：Task Offloading Optimization in Mobile Edge Computing based on Deep Reinforcement Learning

会议：MSWiM ’23 （CCF-C）

注：本文仅用户学习。

一、知识梳理

问题：边缘计算可以很好地缓解云计算网络拥塞和高通信开销等问题。然而，考虑到边缘计算资源是有限的，需要采用合理的优化策略提高首先资源的利用率。

模型：为解决上述问题，本文提出了一个agent辅助管理用户卸载的计算卸载方案，在考虑到电能、计算和通信约束下做出智能决策。目的是最小化实验和能耗的加权和，优化策略是卸载策略。

算法：Advantage Actor-Critic （A2C）算法。

二、模型介绍

该框架包含一个agent,M个Edge Servers (ESs)和N Mobile Devices (MDs)，其中M={1,2,...m,...,M}，N={1,2,...,n,...,N}。

2.1 本地计算

MD n 本地计算的时延和能耗可以表示为：

其中Dn表示任务量大小，表示设备n每秒CPU的周期数，表示每CPU周期数产生的能耗。因此，本地计算的总成本为：

其中。

2.2 边缘计算

MD n的任务卸载给ES m的上行传输时延和能耗为：

    

其中表示卸载数据量的大小，表示设备传输功率。然后，ES m的处理时延为：

同时，MD在空闲时的功耗为：

其中，表示ES m的总计算资源量，表示卸载到ES m的任务数目量，表示计算的CPU周期数，表示空闲功耗。此外，任务结果下行的传输时延和设备空闲功耗为：

其中表示计算的结果大小，表示下载的功耗。任务的总时延和总能耗为：

因此，最后的总成本为：

则计算卸载决策所产生的总成本为：

由此可知。因此，MEC系统的平均成本和最坏情况的成本为：

2.3 问题公式

总成本的优化目标为：

2.4问题转化

上述问题转为MDP问题为：

状态空间：表示状态空间，包含所有请求的任务。其中, （生成的计算任务量，计算结果大小，所需的CPU周期数，时延权重，能耗权重）

动作空间：,表示动作空间。

转台转移矩阵： 表示转移概率分布 。

奖励函数：,最大化成本的负奖励。

三、代码

代码：https://github.com/Carlos-Marques/rl-MEC-scheduler