Objectron

Objectron 项目介绍

Objectron 是一个独特而强大的数据集，专注于短视频片段中的物体姿态标注。这个项目由谷歌研究团队开发，旨在推进计算机视觉和增强现实（AR）技术的发展。

数据集概览

Objectron 数据集包含了15,000个带注释的短视频片段，以及超过400万张带注释的图像。这些数据涵盖了9个不同类别的物体，包括自行车、书籍、瓶子、相机、麦片盒、椅子、杯子、笔记本电脑和鞋子。为了确保地理多样性，数据收集自五大洲的10个国家。

独特之处

每个视频片段都以物体为中心，摄像机围绕物体移动，从不同角度捕捉其形态。除了高分辨率图像外，数据集还提供了丰富的元数据，包括：

• 相机姿态
• 稀疏点云
• 周围环境的平面特征
• 手动标注的3D边界框

这些3D边界框精确描述了物体的位置、方向和尺寸，为研究人员提供了宝贵的信息。

应用价值

基于Objectron数据集，研究人员已经开发出了针对鞋子、椅子、杯子和相机四个类别的3D物体检测解决方案。这些模型通过MediaPipe（谷歌的开源跨平台ML解决方案框架）发布，可用于实时和流媒体应用。

数据格式与访问

数据存储在谷歌云存储的objectron存储桶中，提供多种格式以满足不同需求：

• 原始视频序列
• 注释标签（包含3D边界框信息）
• AR元数据
• 处理过的数据集（适用于TensorFlow和PyTorch等框架）

研究人员还提供了支持脚本，用于评估、数据加载和可视化，以及用于在谷歌云基础设施上处理数据集的Apache Beam作业。

教程与支持

为了帮助研究人员和开发者快速上手，项目提供了一系列详细的教程，涵盖了数据下载、解析、加载和评估等方面。这些教程支持多种常用框架，如TensorFlow、PyTorch和JAX。

开放与合作

Objectron数据集在Computational Use of Data Agreement 1.0 (C-UDA-1.0)许可下发布，鼓励学术界和工业界的广泛使用和合作。研究人员可以通过电子邮件或加入邮件列表与项目团队交流。

通过提供这个丰富、多样化的数据集，Objectron项目为计算机视觉和AR领域的研究与应用开辟了新的可能性，有望推动相关技术的快速发展和创新。