acme

项目概述

Acme 是一个专为强化学习（RL）研究设计的框架。它提供了一系列易于理解、高效且具有可读性的 RL 构建模块。这些模块不仅可以作为算法性能的基线，还能为新研究提供灵活可靠的起点。此外，Acme 的组件设计使得这些智能体可以在不同规模上运行，例如单流与分布式智能体。

如何开始

开始使用 Acme 的最快方法是查看 examples 子目录中详细的工作代码示例。这些示例展示了如何在各种环境中实例化和运行不同的智能体。用户还可以查看[快速入门笔记本]，快速了解如何使用单个智能体。同时，[教程笔记本] 中详细介绍了智能体的内部构造。完整的 Acme 描述及其底层组件可参考项目[文档]，设计背后的更多信息和细节可以在我们的[技术报告]中找到。

请注意，Acme 主要是为研究人员而写的 RL 研究框架，我们在日常工作中也会使用。因此，我们会尽力保持其正常运行，但偶尔可能会出现问题，一旦发现，我们会尽快修复。

安装指南

要快速启动并运行 Acme，按以下步骤操作：

1. 设置 Python 虚拟环境：尽管可以在标准 Python 环境中安装 Acme，但强烈建议使用 Python 虚拟环境来管理依赖性。这将有助于避免版本冲突并简化安装过程。

   python3 -m venv acme
   source acme/bin/activate
   pip install --upgrade pip setuptools wheel

2. 安装核心库及依赖：Acme 核心库可以直接通过 pip 安装，但其默认包含的依赖项较少。特别是要运行任何已包含的智能体，还需要安装 [JAX] 或 [TensorFlow] 组件，具体取决于智能体类型。

   pip install dm-acme[jax,tf]

3. 安装示例环境：要安装一些示例环境（包括 [gym]、[dm_control] 和 [bsuite]），请运行：

   pip install dm-acme[envs]

4. 从 GitHub 安装最新版本：如果希望运行 Acme 的最新版本，可以通过克隆 Acme GitHub 仓库并在主目录（setup.py 所在位置）执行以下命令：

   pip install .[jax,tf,testing,envs]

引用 Acme

如果在您的工作中使用了 Acme，请引用随附的[技术报告]。

总结

Acme 是一个为研究人员提供的强大的工具，它在提供稳定算法基线的同时也给研究的创新提供了很大的自由度与灵活性。无论是学习、研究还是开发新算法，Acme 都能成为一个合适的选择。