MEEE复现指南

本代码用于复现通过模型集成探索与利用实现样本高效强化学习[摘要]中的实验。

值得注意的是，我们的代码主要基于MBPO，感兴趣的读者可以参考原始代码库MBPO以获取更多详细信息。

安装

1. 在~/.mujoco/mujoco200安装MuJoCo 2.0，并将许可证密钥复制到~/.mujoco/mjkey.txt。例如，对于Linux平台，您需要先安装以下依赖项：

sudo yum install patchelf
sudo yum install mesa-libGL-devel mesa-libGLU-devel
sudo yum install mesa-libOSMesa-devel
sudo yum install mesa-libOSMesa
sudo yum install glfw
sudo yum install mesa-libGL
sudo yum install openmpi-devel

2. 创建conda环境并安装requirements.txt中的依赖项

cd code_meee
conda create -n "your_env_name" python=3.6
conda activate "your_env_name"
# 安装cuda以支持tf-gpu==1.13.1
conda install cudatoolkit==10.0.130 
conda install cudnn==7.6.5
pip install -r requirements.txt

使用方法

配置文件可在examples/config中找到。使用以下命令在Humanoid-v2上进行实验：

python main.py run_local examples.development --config=examples.config.humanoid.1 --trial-gpus=1

目前仅支持本地运行，所以保持run_local和examples.development参数不变。examples.config.humanoid.1确定您要使用的配置文件，--trial-gpus=1表示您想使用一块Nvidia GPU进行实验，您可以通过修改相关参数来更改实验环境和使用的GPU。

日志

结果可以在默认目录log_dir=~/ray_meee/中找到，您也可以在examples/config/configuration_files中指定目录。

引用

如果您在论文中使用了此代码或结果，请引用我们的工作：

@inproceedings{yao2021sample,
  title={Sample efficient reinforcement learning via model-ensemble exploration and exploitation},
  author={Yao, Yao and Xiao, Li and An, Zhicheng and Zhang, Wanpeng and Luo, Dijun},
  booktitle={2021 IEEE International Conference on Robotics and Automation (ICRA)},
  pages={4202--4208},
  year={2021},
  organization={IEEE}
}

许可证

本仓库中的代码根据LICENSE文件中的MIT许可证发布。