运动形态：从单个视频进行4D重建

项目页面 | Arxiv

王倩倩^1,2*, 叶维琪¹*, 高航¹*, 杰克·奥斯汀¹, 李政齐², 金城安珠¹

¹加州大学伯克利分校   ²谷歌研究院

* 贡献相同

安装

git clone --recurse-submodules https://github.com/vye16/shape-of-motion
cd shape-of-motion/
conda create -n som python=3.10
conda activate som

更新requirements.txt中PyTorch和cuUML的CUDA版本， 即将cu122和cu12替换为您的CUDA版本。

pip install -r requirements.txt
pip install git+https://github.com/nerfstudio-project/gsplat.git

使用方法

预处理

我们依赖preproc中的第三方库来生成深度图、物体遮罩、相机估计和2D轨迹。 请按照预处理README中的指南进行操作。

对视频进行拟合

python run_training.py \
  --work-dir <输出目录> \
  data:davis \
  --data.seq-name horsejump-low

在iPhone数据集上评估

首先，从此链接下载我们处理过的iPhone数据集。要对一个序列进行训练，例如paper-windmill，运行：

python run_training.py \
  --work-dir <输出目录> \
  --port <端口> \
  data:iphone \
  --data.data-dir </path/to/paper-windmill/>

优化后，可以通过以下方式评估数值结果：

PYTHONPATH='.' python scripts/evaluate_iphone.py \
  --data_dir </path/to/paper-windmill/> \
  --result_dir <输出目录> \
  --seq_names paper-windmill

引用

@inproceedings{som2024,
  title     = {Shape of Motion: 4D Reconstruction from a Single Video},
  author    = {Wang, Qianqian and Ye, Vickie and Gao, Hang and Austin, Jake and Li, Zhengqi and Kanazawa, Angjoo},
  journal   = {arXiv preprint arXiv:2407.13764},
  year      = {2024}
}