IDM-VTON：刚开源就有1.8K星星，最新的照片AI换装项目，可用于虚拟试穿，附试用链接

项目简介

IDM-VTON是一个开源项目，旨在通过改进扩散模型，实现更自然的虚拟试穿体验。该项目基于最新的深度学习技术，开发出能够处理复杂场景中的虚拟试穿的算法。其主要特点包括对野外真实环境下的衣物试穿进行优化，以及提供高质量的图像生成。此外，IDM-VTON还支持两个数据集：VITON-HD和DressCode，用于进一步提升模型的效果和实用性。

DEMO

Demo 图片

数据准备

VITON-HD

你可以从VITON-HD下载VITON-HD数据集。

下载VITON-HD数据集后，请将 vitonhd_test_tagged.json 文件移动到测试文件夹中。

数据集目录的结构应如下所示。

train
|-- ...



test
|-- image
|-- image-densepose
|-- agnostic-mask
|-- cloth
|-- vitonhd_test_tagged.json

DressCode

你可以从DressCode下载DressCode数据集。

在这里提供了预计算的服装密集姿态图像和说明。

使用了detectron2来获取密集姿态图像。

下载DressCode数据集后，请按照以下方式放置图像-密集姿态目录和说明文字文件。

DressCode
|-- dresses
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...
|-- lower_body
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...
|-- upper_body
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...

推理

VITON-HD

使用带有参数的Python文件进行推理

accelerate launch inference.py \
    --width 768 --height 1024 --num_inference_steps 30 \
    --output_dir "result" \
    --unpaired \
    --data_dir "DATA_DIR" \
    --seed 42 \
    --test_batch_size 2 \
    --guidance_scale 2.0

或者，可以直接使用脚本文件运行。

sh inference.sh

DressCode

对于DressCode数据集，通过类别参数设置你想要生成图像的类别

accelerate launch inference_dc.py \
    --width 768 --height 1024 --num_inference_steps 30 \
    --output_dir "result" \
    --unpaired \
    --data_dir "DATA_DIR" \
    --seed 42 \
    --test_batch_size 2 \
    --guidance_scale 2.0 \
    --category "upper_body"

或者，你可以直接使用脚本文件运行。

sh inference.sh

启动一个本地 Gradio 演示

在下面链接下载人体解析的checkpoint。

下载链接

将checkpoint放置在 ckpt 文件夹下。

ckpt
|-- densepose
    |-- model_final_162be9.pkl
|-- humanparsing
    |-- parsing_atr.onnx
    |-- parsing_lip.onnx

|-- openpose
    |-- ckpts
        |-- body_pose_model.pth

运行以下命令：