MushroomRL

MushroomRL是什么

MushroomRL是一个Python强化学习(RL)库，其模块化设计使得它可以轻松使用知名的Python张量计算库(如PyTorch、Tensorflow)和RL基准测试(如OpenAI Gym、PyBullet、Deepmind Control Suite)。它以简单的方式允许执行RL实验，提供经典的RL算法(如Q-Learning、SARSA、FQI)和深度RL算法(如DQN、DDPG、SAC、TD3、TRPO、PPO)。

完整文档和教程可在此处获取：http://mushroomrl.readthedocs.io/en/latest/。

安装

你可以通过以下方式最小化安装MushroomRL：

.. code:: shell

pip3 install mushroom_rl

安装所有功能

MushroomRL还包含一些可选组件，例如对OpenAI Gym环境的支持、来自Arcade Learning Environment的Atari 2600游戏，以及对Pybullet和MuJoCo等物理模拟器的支持。默认情况下不启用这些类的支持。

要安装全套功能，你需要安装额外的包。你可以通过运行以下命令安装所有内容：

.. code:: shell

pip3 install mushroom_rl[all]

这将安装MushroomRL的所有依赖项，除了Plots依赖项。对于ubuntu>20.04，你可能需要安装pygame和gym依赖项：

.. code:: shell

sudo apt -y install libsdl-image1.2-dev libsdl-mixer1.2-dev libsdl-ttf2.0-dev \
                 libsdl1.2-dev libsmpeg-dev libportmidi-dev ffmpeg libswscale-dev \
                 libavformat-dev libavcodec-dev swig

注意，你仍然需要为不同的操作系统安装其中一些依赖项，例如macOS需要安装swig。

以下是安装Plots依赖项需要运行的代码：

.. code:: shell

sudo apt -y install python3-pyqt5
pip3 install mushroom_rl[plots]

你可能需要先安装外部依赖项。有关mujoco-py安装的更多信息，请按照项目页面上的说明进行操作：https://github.com/openai/mujoco-py

警告！使用conda时，可能会出现QT相关问题。你可以通过在代码中添加以下行来解决这些问题，将``<conda_base_path>``替换为你的conda分发路径，将``<env_name>``替换为你正在使用的conda环境名称：

.. code:: python

import os os.environ['QT_QPA_PLATFORM_PLUGIN_PATH'] = '<conda_base_path>/envs/<env_name>/bin/platforms'

要使用dm_control MushroomRL接口，请按照这里的说明安装dm_control：https://github.com/deepmind/dm_control

在MushroomRL中使用Habitat和iGibson

Habitat <https://aihabitat.org/>和iGibson <http://svl.stanford.edu/igibson/> 是提供真实和感知丰富学习环境的仿真平台。在MushroomRL中，代理的默认观察是RGB图像，但也可以使用RGBD、代理传感器数据和其他信息。

如果你已经安装了iGibson或Habitat的早期版本，我们建议删除它们并进行全新安装。

iGibson安装 ^^^^^^^^^^^^^^^^^^^^ 按照官方指南进行安装：http://svl.stanford.edu/igibson/#install_env 并安装其资产和数据集： http://svl.stanford.edu/igibson/docs/assets.html http://svl.stanford.edu/igibson/docs/dataset.html

对于<MUSHROOM_RL PATH>/mushroom-rl/examples/igibson_dqn.py，你需要运行

.. code:: shell

python -m igibson.utils.assets_utils --download_assets
python -m igibson.utils.assets_utils --download_demo_data
python -m igibson.utils.assets_utils --download_ig_dataset

你也可以使用第三方数据集：https://github.com/StanfordVL/iGibson/tree/master/igibson/utils/data_utils/ext_scene

场景详细信息在YAML文件中定义，需要传递给代理。参见<IGIBSON PATH>/igibson/test/test_house.YAML以获取示例。

Habitat安装 ^^^^^^^^^^^^^^^^^^^^ 按照官方指南进行完整安装，包括habitat_baselines： https://github.com/facebookresearch/habitat-lab/#installation 然后你可以按照以下链接下载交互式数据集： https://github.com/facebookresearch/habitat-lab#data https://github.com/facebookresearch/habitat-lab#task-datasets 如果你需要下载其他数据集，可以使用此工具： https://github.com/facebookresearch/habitat-sim/blob/master/habitat_sim/utils/datasets_download.py

Habitat基本用法 ^^^^^^^^^^^^^^^^^^^^^^ 创建Habitat环境时，你需要传递一个包装器名称和两个YAML文件：Habitat(wrapper, config_file, base_config_file)。

包装器必须是<MUSHROOM_RL PATH>/mushroom-rl/environments/habitat_env.py中定义的之一，负责将动作和观察转换为类似gym的格式。如果你的任务/机器人需要，你可能需要定义新的包装器。
YAML文件定义了所有细节：Habitat环境、场景、机器人可用的传感器、奖励、动作离散化以及你可能需要的任何额外信息。第二个YAML文件是可选的，用于覆盖第一个YAML中已定义的内容。

如果你使用来自habitat-lab的YAML，请检查它们是否为BASE_TASK_CONFIG_PATH定义了YAML。如果有，你需要将其作为base_config_file传递给Habitat()。事实上，habitat-lab YAML使用相对路径，从其根文件夹外部调用它们将导致错误。
如果你使用数据集，请确保YAML文件中定义的路径正确，特别是如果你使用相对路径。habitat-lab YAML使用相对路径，所以要注意这一点。默认情况下，YAML文件中定义的路径将相对于你启动Python代码的位置。如果你的data文件夹在其他地方，你也可以创建一个符号链接。

重排任务示例 ^^^^^^^^^^^^^^^^^^^^^^

下载ReplicaCAD数据集（--data-path data将它们下载到你启动代码的文件夹中）

.. code:: shell

python -m habitat_sim.utils.datasets_download --uids replica_cad_dataset --data-path data

对于此任务，我们使用<HABITAT_LAB PATH>/habitat_baselines/config/rearrange/rl_pick.yaml。这个YAML定义了BASE_TASK_CONFIG_PATH: configs/tasks/rearrange/pick.yaml，由于这是一个相对路径，我们需要通过将其绝对路径作为base_config_file参数传递给Habitat()来覆盖它。
然后，pick.yaml定义了相对于<HABITAT_LAB PATH>要使用的数据集。如果你在之前的下载命令中没有使用--data-path参数， ReplicaCAD数据集现在位于<HABITAT_LAB PATH>/data中，你需要创建一个链接指向它

.. code:: shell

ln -s <HABITAT_LAB PATH>/data/ <MUSHROOM_RL PATH>/mushroom-rl/examples/habitat

最后，你可以运行python habitat_rearrange_sac.py。

导航任务示例 ^^^^^^^^^^^^^^^^^^^^^^^

下载并解压Replica场景

警告！该数据集非常大！

.. code:: shell

sudo apt-get install pigz
git clone https://github.com/facebookresearch/Replica-Dataset.git
cd Replica-Dataset
./download.sh replica-path

对于这个任务，我们只使用自定义YAML文件pointnav_apartment-0.yaml。
DATA_PATH: "replica_{split}_apartment-0.json.gz"定义了包含一些场景细节的JSON文件，比如智能体的初始位置和方向。{split}值在SPLIT键中定义。

如果你想尝试新的位置，你可以从场景的可导航点集合中采样。在初始化habitat环境后，例如mdp = Habitat(...)，运行mdp.env._env._sim.sample_navigable_point()。
SCENES_DIR: "Replica-Dataset/replica-path/apartment_0"定义了场景。如前所述，这个路径是相对于你运行脚本的位置，因此我们需要链接Replica文件夹。如果你从示例文件夹运行habitat_nav_dqn.py，请运行

.. code:: shell

ln -s <PATH TO>/Replica-Dataset/ <MUSHROOM_RL PATH>/mushroom-rl/examples/habitat

最后，你可以运行python habitat_nav_dqn.py。

可编辑安装

你也可以通过以下方式进行本地可编辑安装：

.. code:: shell

pip install --no-use-pep517 -e .

要安装可选依赖项：

.. code:: shell

pip install --no-use-pep517 -e .[all]

如何设置和运行实验

要运行实验，MushroomRL需要一个脚本文件，提供实验所需的必要信息。请参考"examples"文件夹中的脚本，了解如何运行实验。

例如，要使用提供的示例脚本之一运行快速实验，请执行：

.. code:: shell

python3 examples/car_on_hill_fqi.py

引用MushroomRL

如果你在科学出版物中使用MushroomRL，请引用：

.. code:: bibtex

@article{JMLR:v22:18-056,
    author  = {Carlo D'Eramo and Davide Tateo and Andrea Bonarini and Marcello Restelli and Jan Peters},
    title   = {MushroomRL: Simplifying Reinforcement Learning Research},
    journal = {Journal of Machine Learning Research},
    year    = {2021},
    volume  = {22},
    number  = {131},
    pages   = {1-5},
    url     = {http://jmlr.org/papers/v22/18-056.html}
}