开放跨实体化

开放跨实体化旨在以统一格式提供所有开源机器人数据，以便于下游使用。

使用开放跨实体化数据集的首个出版物是《开放跨实体化：机器人学习数据集和RT-X模型》。

数据集访问

数据集结构

每个数据集表示为一系列情节，每个情节使用RLDS情节格式表示。

数据集Colab

我们提供了一个自包含的Colab，演示如何从每个数据集中可视化几个情节，以及如何创建用于训练和推理的数据批次。

数据集列表

我们在数据集电子表格中提供了作为开源努力的一部分包含的数据集列表及其元数据。

RT-1-X模型检查点

观察空间说明

该模型以机器人工作空间相机的RGB图像和描述机器人应执行任务的任务字符串作为输入。

模型应执行的任务完全通过任务字符串传达给模型。图像向模型传达当前世界状态，即假设模型以3赫兹运行，每333毫秒，我们将机器人工作空间相机的最新RGB图像输入模型以获取下一步行动。

请注意，该模型目前不接收额外的相机图像，如腕部相机图像、手持相机图像或深度图像。

动作空间说明

我们考虑的动作维度包括抓手移动的七个变量（x、y、z、滚动、俯仰、偏航、抓手开合）。每个变量代表绝对值、维度值的变化量或维度的速度。

训练过的RT-1-X TensorFlow检查点的推理Colab演示了如何加载模型检查点，在离线情节上运行推理，并叠加预测和真实动作。

RT-1-X JAX检查点

可以通过以下方式下载可被rt1_inference_example.py中的flax检查点加载器使用的JAX检查点：

gsutil -m cp -r gs://gdm-robotics-open-x-embodiment/open_x_embodiment_and_rt_x_oss/rt_1_x_jax .

常见问题和问题

找不到数据集

如果在尝试运行tfds.load({dataset_name})时遇到此问题：

tensorflow_datasets.core.registered.DatasetNotFoundError: Dataset {dataset_name} not found.

请尝试通过运行以下命令手动下载数据集：

gsutil -m cp -r gs://gdm-robotics-open-x-embodiment/{dataset_name} ~/tensorflow_datasets/

这样下载数据集后，您就可以使用常规的tfds.load({dataset_name})命令了！

引用

如果您在研究中使用开放跨实体化数据集和RT-X，请引用。如果您特别使用了为联合努力贡献的数据集，也请引用这些数据集。数据集电子表格包含每个数据集的引用信息，方便您使用。

许可和免责声明

这不是Google的官方产品。

版权所有 2023 DeepMind Technologies Limited。

• 所有软件均根据Apache许可证2.0版（Apache 2.0）授权；除非遵守Apache 2.0许可，否则不得使用此文件。您可以在以下地址获取Apache 2.0许可的副本：https://www.apache.org/licenses/LICENSE-2.0

• 所有其他材料均根据知识共享署名4.0国际许可证（CC-BY）授权。您可以在以下地址获取CC-BY许可的副本：https://creativecommons.org/licenses/by/4.0/legalcode

• 除非适用法律要求或书面同意，否则根据Apache 2.0或CC-BY许可分发的所有软件和材料均按"原样"分发，不附带任何明示或暗示的担保或条件。请参阅这些许可中的具体条款，了解这些许可下的权限和限制。