GauHuman

<div align="center"> <h1>GauHuman：从单目人体视频中生成关节化高斯散射</h1> <div> <a href="https://skhu101.github.io" target="_blank">胡守康</a>; <a href="https://liuziwei7.github.io/" target="_blank">刘子威</a> </div> <div> 南洋理工大学 S-Lab </div> <div> CVPR 2024 </div> <div style="width: 70%; text-align: center; margin:auto;"> <img style="width:100%" src="https://yellow-cdn.veclightyear.com/835a84d5/4d59546f-fe62-43a7-8932-1c83575923bf.gif"><br> <em>GauHuman 从单目视频中学习关节化高斯散射，实现<strong>快速训练</strong>（1~2分钟）和<strong>实时渲染</strong>（最高189 FPS）。</em> </div>

:open_book: 欲了解更多视觉效果，请查看我们的<a href="https://skhu101.github.io/GauHuman" target="_blank">项目页面</a>

本仓库将包含《GauHuman：从单目人体视频中生成关节化高斯散射》的官方实现。

:mega: 更新

[2023年12月] 发布了 ZJU-Mocap_refine 和 MonoCap 的训练和推理代码。

:desktop_computer: 环境要求

本项目需要 NVIDIA GPU。我们建议使用 anaconda 管理 Python 环境。

    conda create --name gauhuman python=3.8
    conda activate gauhuman
    conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia
    pip install submodules/diff-gaussian-rasterization
    pip install submodules/simple-knn
    pip install --upgrade https://github.com/unlimblue/KNN_CUDA/releases/download/0.2/KNN_CUDA-0.2-py3-none-any.whl
    pip install -r requirement.txt

提示：我们基于官方的 diff-gaussian-rasterization 实现了 alpha mask loss 版本。

设置数据集

请按照 Instant-NVR 的说明下载 ZJU-Mocap-Refine 和 MonoCap 数据集。

下载 SMPL 模型

在此处注册并下载 SMPL 模型。将下载的模型放在 smpl_models 文件夹中。只需要中性模型。文件夹结构应如下所示：

./
├── ...
└── assets/
    ├── SMPL_NEUTRAL.pkl

:train: 训练

ZJU_MoCap_refine 数据集的训练命令

bash run_zju_mocap_refine.sh

MonoCap 数据集的训练命令

bash run_monocap.sh

:running_woman: 评估

ZJU_MoCap_refine 数据集的评估命令

bash eval_zju_mocap_refine.sh

MonoCap 数据集的评估命令

bash eval_monocap.sh

:love_you_gesture: 引用

如果您发现本工作的代码或相关的 ReSynth 数据集对您的研究有帮助，请考虑引用：

@article{hu2023gauhuman,
  title={GauHuman: Articulated Gaussian Splatting from Monocular Human Videos},
  author={Hu, Shoukang and Liu, Ziwei},
  journal={arXiv preprint arXiv:},
  year={2023}
}