这不是 Google 官方支持的产品。

CAD-Estate 数据集：真实房地产场景 RGB 视频的 3D 物体和房间布局注释

当前最先进的 3D 场景理解方法依赖于大规模标注数据集。为此，我们提出 CAD-Estate，这是一个包含复杂多物体 RGB 视频的大型数据集，每个视频都带有全局一致的 3D 物体表示注释，以及由 3D 结构元素（如墙、地板和天花板）组成的房间布局。

我们用数据库中的 CAD 模型为每个物体进行注释，并通过 9 自由度的姿态变换将其放置在场景的 3D 坐标系中。我们的方法 [1] 适用于常见的 RGB 视频，无需深度传感器。许多步骤是自动完成的，人工完成的任务简单明确，只需在 3D 空间中进行有限的推理。这使得众包成为可能，从而让我们能够构建一个大规模数据集。CAD-Estate 提供了 20K 个视频的 3D 表示中放置的 12K 个独特 CAD 模型的 101K 个实例。CAD-Estate 的视频提供了房地产物业的广泛复杂视图。它们对自动场景理解方法构成了巨大挑战，因为每帧包含众多物体，其中许多距离相机较远，因此看起来很小。与现有最大的真实场景 CAD 模型注释数据集 Scan2CAD 相比，CAD-Estate 的实例数量多 7 倍，独特 CAD 模型数量多 4 倍。

我们从易于人工标注的 2D 分割掩码生成通用 3D 房间布局。我们的方法 [2] 自动从注释中重建结构元素的 3D 平面方程和空间范围，并在适当的接触边缘连接相邻元素。CAD-Estate 为 2246 个视频提供了房间布局。这些视频包含复杂的拓扑结构，有通过开放门连接的多个房间，通过楼梯连接的多个楼层，以及具有倾斜结构元素的通用几何形状。我们的自动质量控制程序保证了生成的 3D 房间布局的高质量。

该数据集包含 [1] 和 [2] 中描述的两个数据集。

<br> <p align="center">物体数据集示例 [1]</p> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/a18a42a1-46d5-45af-9116-293a5a5c96ab.gif" align="center" height=130 width=auto/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/61f1918e-4e6f-4c09-bd7c-26bff9ad4bcb.gif" align="center" height=130 width=auto/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/4b0a3b63-1c32-415f-9095-4d68fcdbb7f3.gif" align="center" height=130 width=auto/> </p> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/15eb796c-4ca7-4e00-b26d-0cf3671e9046.png" align="center" height=auto width=230/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/c8519026-7d12-4b15-9213-80349b7b9076.png" align="center" height=auto width=230/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/3d526a65-01e2-48f3-ba9b-8fa55f3e3278.png" align="center" height=auto width=230/> </p> <br> <p align="center">布局数据集示例 [2]</p> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/b1fcce6f-a3c7-4ba9-812e-5a974cf98f5d.gif" align="center" height=130 width=auto/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/4d1f3b37-f190-4c59-91d5-fa45eff5fb5f.gif" align="center" height=130 width=auto/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/7617f07b-b7ab-41b0-9674-f5a1f3672b03.gif" align="center" height=130 width=auto/> </p> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/6fd58fae-5cd7-4118-bb57-aed5eea5ad5e.png" align="center" height=205 width=auto/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/40290ffa-6a1a-4a73-9de8-3382005ebdfb.png" align="center" height=205 width=auto/> </p>

如何使用数据集

首先，您需要按照这里的说明下载数据集和附带的源代码。以下文本假设代码位于 ${WORKDIR}/cad_estate，数据集位于 ${WORKDIR}/cad_estate/data。请按照说明首先设置环境变量 WORKDIR。

您可以使用附带的 Jupyter 笔记本可视化单个场景： objects_notebook.ipynb 和 room_structure_notebook.ipynb。 要为它们启动 Jupyter 内核，请使用：

cd ${WORKDIR}/cad_estate/src
jupyter notebook

内核需要支持 CUDA 的 GPU。

还有两个 PyTorch 数据集类用于读取视频帧及其物体或房间结构注释。您可以在源代码中找到更多详细信息。

最后，此文件描述了 CAD-Estate 注释文件的结构。

如何引用

如果使用物体注释，请引用 [1,3,4]。CAD-Estate 包含将 ShapeNet [3] 模型对齐到 RealEstate10K 视频 [4] 上的物体注释 [1]。如果使用 3D 房间布局，请引用 [2,4]。CAD-Estate 包含 RealEstate10K 视频 [4] 的 3D 房间布局 [2]。

[1] K.-K. Maninis, S. Popov, M. Nießner, and V. Ferrari. CAD-Estate: Large-scale CAD Model Annotation in RGB Videos. In ICCV, 2023 (to appear).
[2] D. Rozumnyi, S. Popov, K.-K. Maninis, M. Nießner, V. Ferrari. Estimating Generic 3D Room Structures from 2D Annotations. In NeurIPS, 2023.
[3] A. Chang, T. Funkhouser, L. Guibas, P. Hanrahan, Q. Huang, Z. Li, S. Savarese, M. Savva, S. Song, H. Su, J. Xiao, L. Yi, and Fisher Yu. ShapeNet: An Information-Rich 3D Model Repository. arXiv preprint, 2015.
[4] T. Zhou, R. Tucker, J. Flynn, G. Fyffe, and N. Snavely. Stereo Magnification: Learning view synthesis using multiplane images. In SIGGRAPH, 2018.