maro

MARO 项目介绍

MARO（Multi-Agent Resource Optimization）平台是一个多智能体资源优化平台，它作为一种强化学习即服务（Reinforcement Learning as a Service, RaaS）的实例，致力于解决实际世界中的资源优化问题。MARO 可以应用于多个重要的工业领域，如物流中的集装箱库存管理、交通运输中的自行车再部署、数据中心中的虚拟机供应，以及金融中的资产管理。此外，除支持增强学习（Reinforcement Learning, RL）外，它还支持如运筹学等其他规划和决策机制。

MARO 的关键组件

• 仿真工具包：提供一些预定义的场景和可复用的组件，以供构建新的场景。
• RL 工具包：为强化学习提供全栈抽象，包括智能体管理器、智能体、RL 算法、学习器、执行者，以及各种形状修整器。
• 分布式工具包：提供分布式通信组件，用户定义函数的接口用于消息自动处理、集群配置和作业编排。

内容结构

MARO 安装

从 PyPI 安装

在 Mac OS 或 Linux 上可以通过以下命令安装：

pip install pymaro

在 Windows 上需要先安装 torch，然后再安装 pymaro：

pip install torch===1.6.0 torchvision===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
pip install pymaro

从源码安装

• 需要的先决条件包括 C++ 编译器：
  • Linux 或 Mac OS X：使用 gcc
  • Windows：使用 Visual Studio 2017 的构建工具

安装前建议创建虚拟环境以保证清洁的执行环境。

快速示例

以下是一段简单的代码示例，展示了如何使用 MARO 环境执行操作：

from maro.simulator import Env

env = Env(scenario="cim", topology="toy.5p_ssddd_l0.0", start_tick=0, durations=100)

metrics, decision_event, is_done = env.step(None)

while not is_done:
    metrics, decision_event, is_done = env.step(None)

print(f"environment metrics: {env.metrics}")

环境可视化

MARO 支持环境数据的可视化，用户可以通过可视化工具深入分析仿真结果。

贡献与社区

MARO 欢迎社区贡献和建议。在进行一些贡献时，用户可能需要同意一份贡献者许可协议（CLA）。此项目采用了微软开放源代码行为准则。

结语

MARO 项目肩负着推动资源优化自动化发展的使命，通过简化资源优化决策过程，提高效率，为相关行业带来显著价值。无论是研究学者还是行业从业者，都能在 MARO 平台上找到适合自己的工具和解决方案。