概述

DI-star：专门为《星际争霸II》开发的大规模游戏AI分布式训练平台。我们已经训练出了大师级AI！本项目包含：

演示和测试代码（尝试并与我们的智能体对战！）
第一版预训练的监督学习和强化学习智能体（仅限虫族对虫族）
监督学习和强化学习的训练代码 （2022-01-31更新）
有限资源（单台PC）的训练基线和训练指南点击这里 （新内容！2022-04-24更新）
智能体与 Harstem（YouTube）对战 （2022-04-01更新）
更强大的预训练强化学习智能体 （进行中）

使用方法

Windows测试软件 | 对战软件下载

请为我们点星（点击页面右上角的按钮）以帮助DI-star智能体更快成长 :)

安装

环境要求：

Python: 3.6-3.8

1.安装星际争霸II

下载星际争霸II零售版：https://starcraft2.com

注意：Linux没有零售版，请按照这里的说明操作

将SC2安装路径添加到环境变量SC2PATH（如果你使用MacOS或Windows的默认安装路径，即C:\Program Files (x86)\StarCraft II或/Applications/StarCraft II，可以跳过此步骤）：
- 在MacOS或Linux上，在终端输入：
```
export SC2PATH=<sc2安装路径>
```
- 在Windows上：
  1. 右键点击计算机图标并选择属性，或在Windows控制面板中选择系统。
  2. 选择高级系统设置。
  3. 在高级选项卡上，点击环境变量。
  4. 点击新建创建新的环境变量，将SC2PATH设置为sc2的安装位置。
  5. 创建或修改环境变量后，点击应用然后确定使更改生效。

2.安装distar：

git clone https://github.com/opendilab/DI-star.git
cd DI-star
pip install -e .

3.安装pytorch：

推荐使用Pytorch 1.7.1版本和CUDA，按照pytorch官方网站的说明操作

注意：GPU对于实时智能体测试的良好性能是必要的，你也可以使用不带cuda的pytorch，但由于CPU推理延迟，无法保证性能。测试前请确保将SC2设置为最低画面质量。

使用预训练智能体

1. 下载星际争霸II 4.10.0版本

双击文件data/replays/replay_4.10.0.SC2Replay，星际争霸II 4.10.0版本将自动下载。

注意：我们使用4.8.2到4.9.3版本训练了模型。5.0.9补丁于2022年3月15日发布，一些变化对性能有巨大影响，因此我们在评估时将版本固定在4.10.0。

2. 下载模型：

python -m distar.bin.download_model --name rl_model

注意：在--name后指定rl_model或sl_model以下载强化学习模型或监督学习模型。

模型列表：

sl_model：使用人类对战录像训练，技能相当于钻石级玩家。
rl_model：默认使用，通过强化学习训练，技能相当于大师或特级大师。
Abathur：强化学习模型之一，喜欢使用飞龙。
Brakk：强化学习模型之一，喜欢使用跳虫突袭。
Dehaka：强化学习模型之一，喜欢使用蟑螂和毒爆蟑螂。
Zagara：强化学习模型之一，喜欢蟑螂突袭。

3. 智能体测试

我们提供了多种测试方式来使用给定的模型。

与智能体对战

python -m distar.bin.play

这将运行2个星际争霸II实例。第一个由我们的强化学习智能体控制。人类玩家可以在第二个实例上全屏游戏，就像正常游戏一样。

注意：

默认需要GPU和CUDA，如果你没有这些，请添加--cpu参数。
先下载强化学习模型，或使用参数--model1 <模型名称>指定其他模型（如监督学习模型）。
在极少数情况下，2个星际争霸II实例可能会失去连接，导致智能体不会执行任何操作。出现这种情况时请重新启动。

智能体对战智能体

python -m distar.bin.play --game_type agent_vs_agent

这会运行两个由我们的强化学习智能体控制的星际争霸II实例，可以使用参数 --model1 <模型名称> --model2 <模型名称> 来指定其他模型路径。

智能体对战机器人

python -m distar.bin.play --game_type agent_vs_bot

强化学习智能体与内置精英机器人对战。

使用我们的框架构建您自己的智能体

在一个代码库中构建不同的智能体并能让它们相互对战是很有必要的。我们通过将actor和环境作为公共组件，并将所有与智能体相关的内容放入一个目录中来实现这一点。 distar/agent下名为default的智能体就是一个例子。default下的每个脚本都使用相对导入，这使得它们作为一个整体可以移植到任何地方。

如果您想创建一个新的智能体，无论是否使用我们的默认智能体，请参照这里的说明。

如果您想使用我们的框架训练新的智能体，请按照以下说明进行操作，这里是整个训练流程的更详细指南。

监督学习

需要星际争霸II客户端来解码录像，请按照上面的说明进行操作。

python -m distar.bin.sl_train --data <路径>

路径可以是包含录像的目录，也可以是每行包含一个录像路径的文件。

可选地，将录像解码和模型训练分开可能会更有效率，在不同的终端中运行这三个脚本：

python -m distar.bin.sl_train --type coordinator
python -m distar.bin.sl_train --type learner --remote
python -m distar.bin.sl_train --type replay_actor --data <路径>

对于分布式训练：

python -m distar.bin.sl_train --init_method <初始化方法> --rank <排名> --world_size <世界大小>
或
python -m distar.bin.sl_train --type coordinator
python -m distar.bin.sl_train --type learner --remote --init_method <初始化方法> --rank <排名> --world_size <世界大小>
python -m distar.bin.sl_train --type replay_actor --data <路径>

这是在具有4个GPU的机器上以远程模式进行训练的示例：

# 在不同的终端（窗口）中运行以下脚本。
python -m distar.bin.sl_train --type coordinator
# 假设4个GPU在同一台机器上。
# 如果您的GPU在不同的机器上，您需要为每台机器配置init_method的IP。
python -m distar.bin.sl_train --type learner --remote --init_method tcp://127.0.0.1 --rank 0 --world_size 4
python -m distar.bin.sl_train --type learner --remote --init_method tcp://127.0.0.1 --rank 1 --world_size 4
python -m distar.bin.sl_train --type learner --remote --init_method tcp://127.0.0.1 --rank 2 --world_size 4
python -m distar.bin.sl_train --type learner --remote --init_method tcp://127.0.0.1 --rank 3 --world_size 4
python -m distar.bin.sl_train --type replay_actor --data <路径>

强化学习

强化学习将使用监督模型作为初始模型，请先下载它，还需要星际争霸II客户端。

1. 在星际争霸II中对抗机器人进行训练：

python -m disatr.bin.rl_train

2. 进行自我对弈训练

python -m disatr.bin.rl_train --task selfplay

强化学习训练使用四个组件，就像监督学习训练一样，它们可以通过不同的进程执行：

python -m distar.bin.rl_train --type league --task selfplay
python -m distar.bin.rl_train --type coordinator
python -m distar.bin.rl_train --type learner
python -m distar.bin.rl_train --type actor

也支持像监督学习训练那样的分布式训练。

聊天群组

Slack: 链接

Discord服务器: 链接

引用

@misc{distar,
    title={DI-star: An Open-sourse Reinforcement Learning Framework for StarCraftII},
    author={DI-star Contributors},
    publisher = {GitHub},
    howpublished = {\url{https://github.com/opendilab/DI-star}},
    year={2021},
}