<div align="center"> <h1>SIFU:基于侧视图条件的隐式函数用于实用真实世界穿衣人体重建</h1> <div> <a href="https://river-zhang.github.io/zechuanzhang//" target="_blank">张泽川</a>&emsp; <a href="https://z-x-yang.github.io/" target="_blank">杨宗鑫✉</a>&emsp; <a href="https://scholar.google.com/citations?user=RMSuNFwAAAAJ&hl=zh-CN&oi=ao" target="_blank">杨易</a>&emsp; </div> <div> 浙江大学 ReLER, CCAI </div> <div> <sup>✉</sup>通讯作者 </div> <div> <a href="https://river-zhang.github.io/SIFU-projectpage/" target="_blank">CVPR 2024 亮点论文</a> </div> <div style="width: 80%; text-align: center; margin:auto;"> <img style="width:100%" src="https://yellow-cdn.veclightyear.com/835a84d5/638a9ec0-fd87-4ce3-9895-e313fdc149ad.png"> <em>图1. SIFU只需一张图像就能重建高质量的3D穿衣人体模型，非常适合3D打印和场景创建等实际应用。SIFU的核心是一种新颖的基于侧视图条件的隐式函数，这是增强特征提取和几何精度的关键。此外，SIFU引入了3D一致性纹理细化过程，大大提高了纹理质量，并在文本到图像扩散模型的帮助下促进了纹理编辑。SIFU在处理复杂姿势和宽松服装方面表现尤为出色，成为实际应用的理想解决方案。</em> </div>

:open_book: 更多视觉结果，请查看我们的<a href="https://river-zhang.github.io/SIFU-projectpage/" target="_blank">项目页面</a>

本仓库将包含 SIFU 的官方实现。

新闻

[2024/6/18] 由于签证检查问题，作者无法亲自到会议中心。对此我们深感抱歉[悲伤][哭泣]。
[2024/4/5] 我们的论文被评为亮点论文（获接收论文的前11.9%）！
[2024/2/28] 我们发布了几何重建的代码，包括测试和推理。
[2024/2/27] SIFU被CVPR 2024接收！西雅图见！
[2023/12/13] 我们在arXiv上发布了论文。
[2023/12/10] 我们建立了项目页面。

安装

Ubuntu 20 / 18
CUDA=11.6 或 11.7 或 11.8, GPU内存 > 16GB
Python = 3.8
PyTorch = 1.13.0 (官方入门指南)

我们感谢@levnikolaevich和@GuangtaoLyu提供的宝贵安装建议。

如果你没有conda或miniconda，请先安装：

sudo apt-get update && \
sudo apt-get upgrade -y && \
sudo apt-get install unzip libeigen3-dev ffmpeg build-essential nvidia-cuda-toolkit

mkdir -p ~/miniconda3 && \
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh && \
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 && \
rm -rf ~/miniconda3/miniconda.sh && \
~/miniconda3/bin/conda init bash && \
~/miniconda3/bin/conda init zsh

# 关闭并重新打开shell
git clone https://github.com/River-Zhang/SIFU.git
sudo apt-get install libeigen3-dev ffmpeg
cd SIFU
conda env create -f environment.yaml
conda activate sifu
pip install -r requirements.txt

请下载检查点（谷歌云盘）并将其放置在./data/ckpt

请按照ICON的说明下载额外数据，如HPS和SMPL（使用fetch_hps.sh和fetch_data.sh）。可能会缺少关于SMPL的文件，你可以从这里下载并将它们放在/data/smpl_related/smpl_data/。

推理



python -m apps.infer -cfg ./configs/sifu.yaml -gpu 0 -in_dir ./examples -out_dir ./results -loop_smpl 100 -loop_cloth 200 -hps_type pixie

测试

# 1. 在 http://icon.is.tue.mpg.de/ 或 https://cape.is.tue.mpg.de/ 注册
# 2. 下载CAPE测试集
bash fetch_cape.sh 

# 评估
python -m apps.train -cfg ./configs/train/sifu.yaml -test

# 提示：apps/train中默认的"mcube_res"为256。

SIFU的应用

场景构建

3D打印

纹理编辑

动画

真实场景重建

真实场景

引用

如果这项工作对您的研究有帮助，请考虑引用以下BibTeX条目。

@InProceedings{Zhang_2024_CVPR,
    author    = {Zhang, Zechuan and Yang, Zongxin and Yang, Yi},
    title     = {SIFU: Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2024},
    pages     = {9936-9947}
}