IDM-VTON

<div align="center"> <h1>IDM-VTON：改进野外真实虚拟试穿的扩散模型</h1>

</div>

这是论文"改进野外真实虚拟试穿的扩散模型"的官方实现。

如果您喜欢，请给我们点个星星⭐！

示例2

待办事项

演示模型
推理代码
训练代码

环境要求

git clone https://github.com/yisol/IDM-VTON.git
cd IDM-VTON

conda env create -f environment.yaml
conda activate idm

数据准备

VITON-HD

您可以从VITON-HD下载VITON-HD数据集。

下载VITON-HD数据集后，将vitonhd_test_tagged.json移至test文件夹，将vitonhd_train_tagged.json移至train文件夹。

数据集目录结构应如下所示：


train
|-- image
|-- image-densepose
|-- agnostic-mask
|-- cloth
|-- vitonhd_train_tagged.json

test
|-- image
|-- image-densepose
|-- agnostic-mask
|-- cloth
|-- vitonhd_test_tagged.json

DressCode

您可以从DressCode下载DressCode数据集。

我们在这里提供了预先计算的densepose图像和服装说明。

我们使用detectron2来获取densepose图像，更多详情请参考这里。

下载DressCode数据集后，请按如下方式放置image-densepose目录和说明文本文件：

DressCode
|-- dresses
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...
|-- lower_body
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...
|-- upper_body
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...

训练

准备工作

从这里下载sdxl的预训练ip-adapter（IP-Adapter/sdxl_models/ip-adapter-plus_sdxl_vit-h.bin）和图像编码器（IP-Adapter/models/image_encoder）。

git clone https://huggingface.co/h94/IP-Adapter

将ip-adapter移至ckpt/ip_adapter，将图像编码器移至ckpt/image_encoder

使用带参数的Python文件开始训练，

accelerate launch train_xl.py \
    --gradient_checkpointing --use_8bit_adam \
    --output_dir=result --train_batch_size=6 \
    --data_dir=DATA_DIR

或者，您可以简单地运行脚本文件。

sh train_xl.sh

推理

VITON-HD

使用带参数的Python文件进行推理，

accelerate launch inference.py \
    --width 768 --height 1024 --num_inference_steps 30 \
    --output_dir "result" \
    --unpaired \
    --data_dir "DATA_DIR" \
    --seed 42 \
    --test_batch_size 2 \
    --guidance_scale 2.0

或者，您可以简单地运行脚本文件。

sh inference.sh

DressCode

对于DressCode数据集，通过category参数指定要生成图像的类别，

accelerate launch inference_dc.py \
    --width 768 --height 1024 --num_inference_steps 30 \
    --output_dir "result" \
    --unpaired \
    --data_dir "DATA_DIR" \
    --seed 42 
    --test_batch_size 2
    --guidance_scale 2.0
    --category "upper_body"

或者，您可以简单地运行脚本文件。

sh inference.sh

启动本地gradio演示 <a href='https://github.com/gradio-app/gradio'><img src='https://img.shields.io/github/stars/gradio-app/gradio'></a>

从这里下载人体解析的检查点。

将检查点放在ckpt文件夹下。

ckpt
|-- densepose
    |-- model_final_162be9.pkl
|-- humanparsing
    |-- parsing_atr.onnx
    |-- parsing_lip.onnx

|-- openpose
    |-- ckpts
        |-- body_pose_model.pth

运行以下命令：

python gradio_demo/app.py

致谢

感谢ZeroGPU提供免费GPU。

感谢IP-Adapter提供基础代码。

感谢OOTDiffusion和DCI-VTON提供掩码生成。

感谢SCHP提供人体分割。

感谢Densepose提供人体密集姿态。

星标历史

引用

@article{choi2024improving,
  title={Improving Diffusion Models for Authentic Virtual Try-on in the Wild},
  author={Choi, Yisol and Kwak, Sangkyung and Lee, Kyungmin and Choi, Hyungwon and Shin, Jinwoo},
  journal={arXiv preprint arXiv:2403.05139},
  year={2024}
}