Vid2Avatar: 通过自监督场景分解从野外视频重建3D头像

论文 | YouTube视频 | 项目主页 | SynWild数据集

这是CVPR 2023论文《Vid2Avatar: 通过自监督场景分解从野外视频重建3D头像》的官方代码库。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/66c931b8-c888-4db8-832b-60678fcf87fb.png" width="800" height="223"/>

开始使用

• 克隆此仓库: git clone https://github.com/MoyGcc/vid2avatar
• 创建并激活Python虚拟环境。conda create -n v2a python=3.7 和 conda activate v2a
• 安装依赖。cd vid2avatar，pip install -r requirement.txt 和 cd code; python setup.py develop
• 安装 Kaolin。我们使用0.10.0版本。
• 下载 SMPL模型（1.0.0版本，适用于Python 2.7，10个形状主成分），并将它们移动到相应的位置：

mkdir code/lib/smpl/smpl_model/
mv /path/to/smpl/models/basicModel_f_lbs_10_207_0_v1.0.0.pkl code/lib/smpl/smpl_model/SMPL_FEMALE.pkl
mv /path/to/smpl/models/basicmodel_m_lbs_10_207_0_v1.0.0.pkl code/lib/smpl/smpl_model/SMPL_MALE.pkl

下载预处理的演示数据

你可以快速开始尝试Vid2Avatar，使用一个预处理的演示序列，其中包括预训练的检查点。这可以从Google Drive下载，原始视频片段由NeuMan提供。将预处理的演示数据放在data/文件夹下，并将checkpoints文件夹放在outputs/parkinglot/下。

训练

在训练之前，请确保数据配置文件/code/confs/dataset/video.yaml中的metaninfo与预期的训练视频相匹配。你也可以通过更改模型配置文件code/confs/model/model_w_bg中的is_continue标志来继续训练。然后运行：

cd code
python train.py

训练通常需要24-48小时。验证结果可以在outputs/中找到。

测试

运行以下命令以获得最终输出。默认情况下，这会加载最新的检查点。

cd code
python test.py

3D可视化

我们使用AITViewer来可视化3D人体模型。首先安装AITViewer：pip install aitviewer imgui==1.4.1，然后运行以下命令来可视化规范网格（--mode static）或变形网格序列（--mode dynamic）：

cd visualization 
python vis.py --mode {MODE} --path {PATH}

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/a5b7d924-73cc-4592-80b3-ed976361b72a.gif" width="623" height="346"/> </p>

在自定义视频上使用

• 我们使用ROMP来获取初始SMPL形状和姿势：pip install --upgrade simple-romp
• 安装OpenPose及其Python绑定。
• 将视频帧放在preprocessing/raw_data/{SEQUENCE_NAME}/frames文件夹下
• 相应地修改预处理脚本preprocessing/run_preprocessing.sh：数据源、序列名称和性别。数据源默认为"custom"，这将估计相机内参。如果已知相机内参，最好提供真实的相机参数。
• 运行预处理：cd preprocessing 和 bash run_preprocessing.sh。处理后的数据将存储在data/中。预处理的中间输出可以在preprocessing/raw_data/{SEQUENCE_NAME}/中找到
• 按照上述方式启动训练和测试。数据配置文件/code/confs/dataset/video.yaml中的metainfo应根据自定义视频进行更改。

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/99a1efab-80c6-46fa-b600-128a535b4696.gif" width="240" height="270"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/9447b48f-6966-401a-afb2-08426a25e4a6.gif" width="240" height="270"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/15e6c1af-a10d-43b1-9a2e-9bcc40d25b5f.gif" width="240" height="270"/> </p>

致谢

我们使用了其他优秀研究工作的代码，包括 VolSDF、NeRF++、SMPL-X、Anim-NeRF、I M Avatar 和 SNARF。我们衷心感谢这些作者的杰出工作！我们还要感谢 ICON 和 SelfRecon 的作者讨论实验。

相关工作

以下是我们团队最近的相关人体重建项目：

• Jiang and Chen et. al. - InstantAvatar: 从单目视频中60秒内学习头像
• Shen and Guo et. al. - X-Avatar: 富有表现力的人体头像
• Yin et. al. - Hi4D: 密切人体交互的4D实例分割

@inproceedings{guo2023vid2avatar,
      title={Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition},
      author={Guo, Chen and Jiang, Tianjian and Chen, Xu and Song, Jie and Hilliges, Otmar},    
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      month     = {June},
      year      = {2023},
    }