注意 SMACv2 已发布！点击此处查看。

警告 请注意您实验中使用的 SC2 版本。 不同版本之间的性能并非总是可比的。SMAC 论文中的结果使用的是 SC2.4.6.2.69232，而非 SC2.4.10。

SMAC - 星际争霸多智能体挑战赛

SMAC是WhiRL基于暴雪的星际争霸 II RTS 游戏开发的合作多智能体强化学习(MARL)研究环境。SMAC 利用暴雪的星际争霸 II 机器学习 API和DeepMind的PySC2提供了一个便捷的接口，使自主智能体能够与星际争霸 II 交互，获取观察并执行动作。与PySC2不同，SMAC 专注于分散式微观管理场景，其中游戏中的每个单位都由一个独立的强化学习智能体控制。

请参阅随附的论文和博客文章，了解我们使用 SMAC 作为 MARL 研究测试平台的动机概述和初步实验结果。

关于

我们还发布了PyMARL - 我们基于PyTorch的 MARL 研究框架，其中包含了几种最先进算法的实现，如QMIX和COMA。

论文中使用的运行数据可以在这里找到。由于星际争霸 II 最近的变更，这些运行数据已经<ins>过时</ins>。如果您使用当前版本的 SMAC 进行实验，请不要将您的结果与此处提供的结果进行比较。

快速开始

安装 SMAC

您可以使用以下命令安装 SMAC：

pip install git+https://github.com/oxwhirl/smac.git

或者，您可以克隆 SMAC 仓库，然后安装 smac 及其依赖项：

git clone https://github.com/oxwhirl/smac.git
pip install -e smac/

注意：如果您想扩展 SMAC，请按以下方式安装软件包：

git clone https://github.com/oxwhirl/smac.git
cd smac
pip install -e ".[dev]"
pre-commit install

您可能还需要升级 pip：pip install --upgrade pip 以确保安装正常进行。

安装星际争霸 II

SMAC 基于完整版的星际争霸 II（版本 >= 3.16.1）。要安装游戏，请按照以下命令操作。

Linux

请使用暴雪的仓库下载 Linux 版本的星际争霸 II。默认情况下，游戏应该位于 ~/StarCraftII/ 目录。可以通过设置环境变量 SC2PATH 来更改此路径。

MacOS/Windows

请从Battle.net安装星际争霸 II。免费的入门版也可以使用。如果您使用默认安装位置，PySC2 将找到最新的二进制文件。否则，与 Linux 版本类似，您需要设置 SC2PATH 环境变量为游戏的正确位置。

SMAC 地图

SMAC 由许多预配置地图的战斗场景组成。在使用 SMAC 之前，需要将这些地图下载到星际争霸 II 的 Maps 目录中。

下载SMAC 地图并将其解压到您的 $SC2PATH/Maps 目录。如果您通过 git 安装了 SMAC，只需将 smac/env/starcraft2/maps/ 中的 SMAC_Maps 目录复制到 $SC2PATH/Maps 目录即可。

列出地图

要查看 SMAC 地图列表，以及盟友和敌人单位数量和回合限制，请运行：

python -m smac.bin.map_list

创建新地图

用户可以通过添加新地图/场景来扩展 SMAC。为此，需要：

使用星际争霸 II 编辑器设计新地图/场景：
- 请仔细查看现有地图，了解我们使用的基本元素（如触发器、单位等），
- 我们使用特殊的强化学习单位，这些单位永远不会自动开始攻击敌人。这里是基于现有 SC2 单位创建新强化学习单位的分步指南，
在 smac_maps.py 中添加地图信息，
新设计的强化学习单位有新的 ID，需要在 starcraft2.py 中处理。特别是对于包含多种单位类型的异构地图，需要在 _init_ally_unit_types() 函数中手动设置单位 ID。

测试 SMAC

请运行以下命令以确保 smac 及其地图已正确安装。

python -m smac.examples.random_agents

保存和观看星际争霸 II 回放

保存回放

如果您使用我们的PyMARL多智能体强化学习框架，以下是需要执行的操作：

保存模型：我们在Linux服务器上运行实验，设置 save_model = True（save_model_interval 也相关），以便保存训练检查点（神经网络参数）（点击这里了解更多详情）。
加载模型：可以使用 checkpoint_path 参数加载已学习的模型。如果您在MacOS（或Windows）上运行 PyMARL，同时设置 save_replay=True，这将在测试模式（无探索）下为 test_nepisode 个回合在星际争霸 II 的 Replay 目录中保存一个 .SC2Replay 文件。（点击这里了解更多详情）。

如果您想在不使用 PyMARL 的情况下保存回放，只需在您的训练/测试代码中调用 SMAC 的 StarCraft2Env 的 save_replay() 函数。这将保存自星际争霸 II 客户端启动以来所有回合的回放。

在 Linux 上保存和稍后观看回放的最简单方法是使用Wine。

观看回放

您可以通过点击相应的回放文件直接在 MacOS/Windows 的星际争霸 II 客户端中观看保存的回放。

您也可以通过运行以下命令观看保存的回放：

python -m pysc2.bin.play --norender --replay <path-to-replay>

只要游戏能找到地图，这对任何回放都适用。

有关更多信息，请参阅PySC2文档。

文档

有关环境的详细描述，请阅读SMAC 文档。我们使用SMAC进行实验的初步结果可以在随附论文中找到。

引用SMAC

如果您在研究中使用SMAC，请引用SMAC论文。

M. Samvelyan, T. Rashid, C. Schroeder de Witt, G. Farquhar, N. Nardelli, T.G.J. Rudner, C.-M. Hung, P.H.S. Torr, J. Foerster, S. Whiteson. 星际争霸多智能体挑战赛, CoRR abs/1902.04043, 2019.

BibTeX格式：

@article{samvelyan19smac,
  title = {{星际争霸多智能体挑战赛}},
  author = {Mikayel Samvelyan and Tabish Rashid and Christian Schroeder de Witt and Gregory Farquhar and Nantas Nardelli and Tim G. J. Rudner and Chia-Man Hung and Philiph H. S. Torr and Jakob Foerster and Shimon Whiteson},
  journal = {CoRR},
  volume = {abs/1902.04043},
  year = {2019},
}

代码示例

以下是一个小型代码示例，展示了如何使用SMAC。在这里，各个智能体在从环境接收观察和全局状态后执行随机策略。

如果您想在SMAC上尝试最先进的算法（如QMIX和COMA），请使用PyMARL - 我们的多智能体强化学习研究框架。

from smac.env import StarCraft2Env
import numpy as np


def main():
    env = StarCraft2Env(map_name="8m")
    env_info = env.get_env_info()

    n_actions = env_info["n_actions"]
    n_agents = env_info["n_agents"]

    n_episodes = 10

    for e in range(n_episodes):
        env.reset()
        terminated = False
        episode_reward = 0

        while not terminated:
            obs = env.get_obs()
            state = env.get_state()
            # env.render()  # 取消注释以进行渲染

            actions = []
            for agent_id in range(n_agents):
                avail_actions = env.get_avail_agent_actions(agent_id)
                avail_actions_ind = np.nonzero(avail_actions)[0]
                action = np.random.choice(avail_actions_ind)
                actions.append(action)

            reward, terminated, _ = env.step(actions)
            episode_reward += reward

        print("第{}轮总奖励 = {}".format(e, episode_reward))

    env.close()