UAV-DDPG

UAV-DDPG 项目介绍

项目背景

UAV-DDPG 项目源自一篇学术论文，题为「无人机辅助移动边缘计算的计算卸载优化：一个深度确定性策略梯度方法」。该项目旨在优化无人机（UAV）在移动边缘计算（MEC）系统中的计算任务卸载，提升通信覆盖率和质量。

在这个系统中，无人机携带计算资源，为临近的用户设备（UE）提供卸载服务。用户设备将部分计算任务卸载到无人机上，而剩余任务则在设备本地处理。在这种情况下，为了减少任务的最大处理延迟，项目需在用户调度、任务卸载比例、无人机的飞行角度和速度上进行联合优化。这一问题由于包含非凸约束条件、高维状态空间和连续动作空间而相当复杂。

解决方案

为了解决上述问题，项目提出了一种基于深度确定性策略梯度 (DDPG) 的强化学习算法。此算法能够在无法控制的动态环境中推导出最佳的计算卸载策略。项目的实验结果表明，该算法能迅速收敛到最优解，并在处理延迟方面相较于其他基线算法（如深度Q网络，DQN）有显著提升。

实验与成果

该项目进行了大量实验，验证了所提算法相对于传统方法的优越性。结果显示，使用 DDPG 算法的无人机辅助计算系统不仅在任务延迟方面表现优越，而且具备快速收敛的特性。

必需的软件

项目开发基于 TensorFlow 1.X 环境，用户需要在运行算法前准备相应的开发环境。

参考文献

该项目的相关研究成果发表在《Wireless Networks》期刊上，有兴趣的读者可以引用以下文献：

@article{wang2021computation,
  title={Computation offloading optimization for UAV-assisted mobile edge computing: a deep deterministic policy gradient approach},
  author={Wang, Yunpeng and Fang, Weiwei and Ding, Yi and Xiong, Naixue},
  journal={Wireless Networks},
  volume={27},
  number={4},
  pages={2991--3006},
  year={2021},
  publisher={Springer}
}