virtualhome

项目介绍：VirtualHome

什么是 VirtualHome？

VirtualHome 是一个互动平台，用于通过程序模拟复杂的家庭活动。该平台的核心特点是允许用户与环境进行复杂的交互，例如拾取物品、开关电器等。使用者可以通过简单的指令序列来编写活动，然后通过 Python API 将其在 VirtualHome 中呈现。用户还可以在不同的代理和环境之间进行选择，甚至动态修改环境。此外，VirtualHome 支持流式传输各种真实数据，如带有时间戳的动作、实例和语义分割、光流和深度等。该平台能够模拟多代理活动，并可为具身人工智能任务训练代理提供环境。

平台概览

VirtualHome 中的活动通过两个组件表示：程序用于描述构成一个活动的动作序列，图则定义了活动进行的环境。通过给定一个程序和环境图，模拟器可以执行该程序，生成活动的视频或一系列反映环境变化过程的图。VirtualHome 包含两个模拟器：Unity Simulator 和 Evolving Graph。

Unity Simulator

这是一个基于 Unity 的模拟器，可以生成活动的视频。要使用这个模拟器，用户需要下载相应的可执行文件，并与 Python API 一起运行。

Evolving Graph

这个模拟器完全以 Python 运行，允许在程序执行期间生成一系列图。该模拟器的一些对象和动作目前在 Unity Simulator 中尚不支持。

数据集

我们收集了一组程序，并使用 Evolving Graph 模拟器扩充了这些程序的图。这些数据集可以用于训练和评估在各种环境中的代理活动。

应用场景

VirtualHome 可以用于增强现实（AR）、虚拟现实（VR）和人机交互等领域的研究，也可用于训练涉及多代理协调的人工智能模型。

如何设置

用户可以通过 pip install virtualhome 命令安装 VirtualHome。使用 Unity Simulator 时，需根据使用平台（Linux, Mac OS, Windows）下载相应的版本。VirtualHome 也支持通过 Docker 容器运行，方便在服务器上实验。