hold

[CVPR'24 亮点] HOLD: 基于视频的交互手部和物体的类别无关3D重建

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/e3f95fc1-f37a-4677-8a01-eb63fadf86c0.png" alt="Image" width="300" height="100%" /> </p>

[ 项目主页 ] [ 论文 ] [ 补充材料 ] [ ArXiv ] [ 视频 ] [ HOLD 账户 ] [ ECCV'24 HOLD+ARCTIC 挑战赛 ]

作者: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Muhammed Kocabas, Xu Chen, Michael J. Black, Otmar Hilliges

新闻

🚀 在这里注册HOLD账户，获取代码发布、下载和未来更新等信息！

• 2024.07.04: 参加我们的ECCV比赛：在ARCTIC上使用HOLD进行双手+刚体物体重建！
• 2024.07.04: HOLD beta版发布！
• 2024.04.04: HOLD被评为CVPR亮点论文！
• 2024.02.27: HOLD被CVPR'24接收！正在准备代码发布！

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/daba3827-e066-4f51-84f7-f4c3aa85c85c.jpeg" alt="Image" width="80%"/> </p>

这是HOLD的代码仓库，HOLD是一种从单目视频中联合重建手部和物体的方法，无需假设预先扫描的物体模板。

HOLD可以重建新物体和手部的3D几何形状：

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/e6c43b1e-2caf-4e9b-977f-9868fe9e3250.gif" alt="Image" width="80%"/> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/feee30c4-60e8-4f63-9be2-663f14eea053.jpg" alt="Image" width="80%"/> </p>

HOLD的潜在研究方向

• 无模板双手-物体重建
• 无纹理物体与手部交互
• 多物体与手部交互

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/05d893ee-138d-44ef-a6bb-ba33ae36a10c.gif" alt="Image" width="80%"/> </p>

特性

• 下载HOLD的真实视频以及预处理数据的说明
• 预处理和训练自定义视频的脚本
• 用于重建动态手部-物体交互的体积渲染框架
• 用于单手和双手与物体交互的通用代码库
• 用于与预测结果交互的查看器
• 在HO3D上评估和比较HOLD的代码

待办事项

• 良好重建的技巧
• 进一步清理代码
• 支持ARCTIC双手+刚体物体设置

文档

• 环境设置和下载：参见 docs/setup.md
• 预处理序列的训练、评估和可视化：参见 docs/usage.md
• 预处理自定义序列：参见 docs/custom.md
• 数据文档（检查点、数据集、日志文件夹）：参见 docs/data_doc.md
• 在ARCTIC上使用HOLD的说明：参见 docs/arctic.md

入门

获取代码副本：

git clone https://github.com/zc-alexfan/hold.git
cd hold; git submodule update --init --recursive

1. 设置环境

   • 按照以下说明操作：docs/setup.md
   • 你可以暂时跳过外部依赖项。

2. 在预处理序列上训练

   • 从我们预处理好的实际场景序列开始，例如 hold_bottle1_itw。
   • 熟悉 docs/usage.md 中关于这个预处理序列的使用指南。
   • 这将使你能够训练、渲染 HOLD，并尝试我们的交互式查看器。
   • 在这个阶段，你还可以探索 ./code 目录中的 HOLD 代码。

3. 设置外部依赖项并处理自定义视频

   • 在理解初始工具后，按照 docs/setup.md 中的说明设置"外部依赖项"。
   • 按照 docs/custom.md 中的说明预处理 hold_bottle1_itw 序列的图像。
   • 在这个序列上进行训练，以学习如何构建自定义数据集。
   • 此时你可以捕捉自己的自定义视频并将其重建为 3D。
   • 大多数预处理成果文件都在 docs/data_doc.md 中有记录，你可以将其作为参考。

4. 双手设置：双手类别无关重建

   • 此时，你可以预处理并训练自定义的单手序列。
   • 现在你可以挑战双手类别无关重建任务了！
   • 按照 docs/arctic.md 中的说明重建 ARCTIC 序列中的双手操作。

官方引用

@inproceedings{fan2024hold,
  title={{HOLD}: Category-agnostic 3d reconstruction of interacting hands and objects from video},
  author={Fan, Zicong and Parelli, Maria and Kadoglou, Maria Eleni and Kocabas, Muhammed and Chen, Xu and Black, Michael J and Hilliges, Otmar},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={494--504},
  year={2024}
}

✨CVPR 2023：ARCTIC 是一个数据集，包含精确的身体/手/物体姿势，多视角 RGB 视频用于关节物体操作。详情请查看我们的项目页面。

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/6d9bd361-3460-4b8d-ba9a-c2363669afd9.gif" alt="ARCTIC 演示" width="500"/> <!-- 根据需要调整宽度 --> </p>

星标历史

联系方式

对于技术问题，请创建一个 issue。对于其他问题，请联系第一作者。

致谢

作者要感谢：Benjamin Pellkofer 提供 IT/网络支持；Chen Guo、Egor Zakharov、Yao Feng、Artur Grigorev 的深入讨论；Yufei Ye 发布 DiffHOI 代码。

我们的代码受益于 Vid2Avatar、aitviewer、VolSDF、NeRF++ 和 SNARF。如果你觉得我们的工作有用，可以考虑查看他们的工作。