Tensorforce: 深度强化学习的开源框架

tensorforce

Tensorforce:深度强化学习的开源框架

Tensorforce是一个基于TensorFlow的开源深度强化学习框架,专注于模块化、灵活的库设计和简单易用的研究与应用接口。作为一个功能强大且易于使用的工具,Tensorforce为研究人员和实践者提供了探索和应用强化学习算法的绝佳平台。

设计理念

Tensorforce遵循一系列高级设计原则,使其在同类库中脱颖而出:

模块化组件设计:功能实现力求通用性和可配置性,可能会牺牲一些细节的忠实性,但换来了更大的灵活性。
强化学习算法与应用分离:算法对输入(状态/观察)和输出(动作/决策)的类型和结构无关,也与应用环境的交互无关。
全面的TensorFlow模型:整个强化学习逻辑(包括控制流)都在TensorFlow中实现,实现了与应用编程语言无关的可移植计算图,并简化了模型部署。

这些设计原则使Tensorforce成为一个灵活、可扩展且易于使用的强化学习框架。

主要特性

Tensorforce提供了丰富的功能和组件:

网络层:全连接、1D/2D卷积、嵌入、池化、RNN、dropout、归一化等,还支持Keras层。
网络架构:支持多状态输入和层(块)重用,可通过register/retrieve层简单定义有向无环图结构,支持任意架构。
内存类型:简单批处理缓冲区内存、随机重放内存。
策略分布:布尔动作的伯努利分布、(有限)整数动作的分类分布、连续动作的高斯分布、范围受限连续动作的Beta分布,支持多动作。
奖励估计:可配置估计视野、未来奖励折扣、状态/状态-动作/优势估计,以及是否考虑终止和视野状态。
训练目标:(确定性)策略梯度、状态(动作)值近似。
优化算法:TensorFlow提供的各种基于梯度的优化器(如Adam/AdaDelta/RMSProp等)、进化优化器、基于自然梯度的优化器,以及一系列元优化器。
探索:随机动作、采样温度、可变噪声。
预处理:裁剪、差分器、序列、图像处理。
正则化:L2和熵正则化。
执行模式:基于Python的multiprocessing和socket的多环境并行执行。
优化的仅执行SavedModel提取。
TensorBoard支持。

Tensorforce架构

通过组合这些模块化组件,Tensorforce可以复现多种流行的深度强化学习模型和特性:

Q学习:深度Q学习、Double DQN、Dueling DQN、n步DQN、归一化优势函数(NAF)
策略梯度:vanilla策略梯度/REINFORCE、Actor-critic和A3C、近端策略优化(PPO)、信任区域策略优化(TRPO)、确定性策略梯度(DPG)

值得注意的是,这些复现通常不是100%忠实于原始论文,因为论文中描述的模型往往涉及一些额外的微小调整和修改,这些调整和修改难以用模块化设计来支持(而且,是否有必要支持它们也值得讨论)。从积极的角度来看,这些模型只是Tensorforce支持的众多模块组合中的一小部分示例。

环境适配器

Tensorforce提供了多种流行强化学习环境的适配器:

Arcade Learning Environment:允许研究人员和爱好者为Atari 2600游戏开发AI代理的简单面向对象框架。
CARLA:用于自动驾驶研究的开源模拟器。
OpenAI Gym:用于开发和比较强化学习算法的工具包,支持从行走到玩Pong或弹球等游戏的各种任务。
OpenAI Retro:将经典视频游戏转换为用于强化学习的Gym环境,集成了约1000个游戏。
OpenSim:使用肌肉骨骼模型进行强化学习。
PyGame Learning Environment:允许在Python中快速开始强化学习的学习环境。
ViZDoom:允许开发仅使用视觉信息玩Doom的AI机器人。

这些适配器大大扩展了Tensorforce的应用范围,使其能够在各种复杂的环境中进行训练和测试。

安装和使用

Tensorforce的稳定版本定期更新到PyPI,可以通过以下命令安装:

pip3 install tensorforce

要使用最新版本,可以直接从GitHub安装:

git clone https://github.com/tensorforce/tensorforce.git
pip3 install -e tensorforce

对于环境,有额外的安装选项可用(ale, gym, retro, vizdoom, carla;或envs用于所有环境),但有些可能需要单独安装其他工具。

以下是一个快速入门的示例代码:

from tensorforce import Agent, Environment

# 预定义或自定义环境
environment = Environment.create(
    environment='gym', level='CartPole', max_episode_timesteps=500
)

# 实例化Tensorforce代理
agent = Agent.create(
    agent='tensorforce',
    environment=environment,  # 或者:states, actions, (max_episode_timesteps)
    memory=10000,
    update=dict(unit='timesteps', batch_size=64),
    optimizer=dict(type='adam', learning_rate=3e-4),
    policy=dict(network='auto'),
    objective='policy_gradient',
    reward_estimation=dict(horizon=20)
)

# 训练300个回合
for _ in range(300):
    states = environment.reset()
    terminal = False
    while not terminal:
        actions = agent.act(states=states)
        states, terminal, reward = environment.execute(actions=actions)
        agent.observe(terminal=terminal, reward=reward)

agent.close()
environment.close()