高斯头像：通过动态高斯实现超高保真度头像

论文 | 项目页面

环境要求

创建一个conda环境。

conda env create -f environment.yaml

安装Pytorch3d。

pip install --no-index --no-cache-dir pytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py38_cu113_pyt1120/download.html

安装kaolin。

pip install kaolin==0.13.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-1.12.0_cu113.html

从gaussian-splatting安装diff-gaussian-rasterization和simple_knn。注意，为了渲染32通道图像，请在"diff-gaussian-rasterization/cuda_rasterizer/config.h"中将"NUM_CHANNELS 3"修改为"NUM_CHANNELS 32"。

cd path/to/gaussian-splatting
# 修改"submodules/diff-gaussian-rasterization/cuda_rasterizer/config.h"
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn

下载"tets_data.npz"并将其放入"assets/"目录。

数据集

我们提供了预处理NeRSemble数据集的说明：

申请下载NeRSemble数据集并解压到"path/to/raw_NeRSemble/"。
将特定身份的图像、相机和背景提取到结构化数据集"NeRSemble/{id}"中。

cd preprocess
python preprocess_nersemble.py

使用BackgroundMattingV2去除背景。请克隆代码。下载pytorch_resnet101.pth并将其放入"path/to/BackgroundMattingV2/assets/"。然后运行我们提供的脚本"preprocess/remove_background_nersemble.py"。

cp preprocess/remove_background_nersemble.py path/to/BackgroundMattingV2/
cd path/to/BackgroundMattingV2
python remove_background_nersemble.py

使用Multiview-3DMM-Fitting拟合BFM模型以获取头部姿态和表情系数。请按照说明进行操作。

我们提供了一个迷你演示数据集用于检查代码是否可运行。注意，在下载之前，您必须先签署NeRSemble使用条款。

训练

首先，编辑配置文件，例如"config/train_meshhead_N031"，然后训练几何引导模型。

python train_meshhead.py --config config/train_meshhead_N031.yaml

其次，编辑配置文件"config/train_gaussianhead_N031"，然后训练高斯头像。

python train_gaussianhead.py --config config/train_gaussianhead_N031.yaml

重演

完成两阶段训练后，可以通过一系列表情系数对训练好的头像进行重演。请在配置文件"config/reenactment_N031.py"中指定头像检查点和源数据，然后运行重演应用程序。

python reenactment.py --config config/reenactment_N031.yaml

致谢

部分代码借鉴自gaussian-splatting。

引用

@inproceedings{xu2023gaussianheadavatar,
  title={Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians},
  author={Xu, Yuelang and Chen, Benwang and Li, Zhe and Zhang, Hongwen and Wang, Lizhen and Zheng, Zerong and Liu, Yebin},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}