Goliath

与 Ava-256 一起，作为 Codec Avatar Studio 的一部分

我们提供4组捕捉数据；每个主体包括：

1组可重光照的头部捕捉
1组可重光照的手部捕捉
1组全身着装捕捉
1组最少着装捕捉
1组移动头部捕捉
1组移动手部捕捉
1组移动全身着装捕捉
1组移动最少着装捕捉

以及用于训练个性化解码器的代码：

可重光照的高斯编解码头像
可重光照的手部
基于网格的身体

goliath

请参考样本以了解数据的具体形式。

免责声明

这是一个预发布版本。

依赖项

请参见 requirements.txt/environment.yaml

仓库结构

ca_code/ - Python 源代码
- loss - 损失函数
- models - 独立模型
- nn - 可重用模块（层、块、可学习、模块、网络）
- utils - 可重用工具（函数、无可学习参数的模块）
notebooks/ - 示例笔记本
extensions/ - CUDA 扩展
data/ - 样本数据和检查点的位置

数据

除了相机和视图外，我们还提供分割、3D关键点、已注册和未注册的网格，以及可用时的光照信息。

https://github.com/facebookresearch/goliath/assets/3733964/3052d8ee-e2b8-48e0-9715-9f0c2e6f6e72

目前，数据集的访问是受限的。请发邮件至 julietamartinez@meta.com，最好使用机构邮箱，以获取数据的访问权限。

编译和安装扩展

cd extensions/{mvpraymarch,sgutils,utils}
make

训练

（你可能需要将代码库的目录添加到你的 PYTHONPATH）

python ca_code/scripts/run_train.py <config.yml>

或者简单地

python -m ca_code.scripts.run_train <config.yml>

可视化（重光照）

python ca_code/scripts/run_vis_relight.py <config.yml>

评估

待完成：

许可证

请参见 LICENSE。

引用

如果你使用这个仓库，请引用相关论文。

全身头像

@article{bagautdinov2021driving,
  title={Driving-signal aware full-body avatars},
  author={Bagautdinov, Timur and Wu, Chenglei and Simon, Tomas and Prada, Fabi{\'a}n and Shiratori, Takaaki and Wei, Shih-En and Xu, Weipeng and Sheikh, Yaser and Saragih, Jason},
  journal={ACM Transactions on Graphics (TOG)},
  volume={40},
  number={4},
  pages={1--17},
  year={2021},
  publisher={ACM New York, NY, USA}
}

可重光照头部头像

@inproceedings{saito2024rgca,
  author = {Shunsuke Saito and Gabriel Schwartz and Tomas Simon and Junxuan Li and Giljoo Nam},
  title = {Relightable Gaussian Codec Avatars},
  booktitle = {CVPR},
  year = {2024},
}

可重光照手部头像

@inproceedings{iwase2023relightablehands,
  title={Relightablehands: Efficient neural relighting of articulated hand models},
  author={Iwase, Shun and Saito, Shunsuke and Simon, Tomas and Lombardi, Stephen and Bagautdinov, Timur and Joshi, Rohan and Prada, Fabian and Shiratori, Takaaki and Sheikh, Yaser and Saragih, Jason},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={16663--16673},
  year={2023}
}