HR-VITON — 官方PyTorch实现

***** 我们团队的最新后续研究可在 https://github.com/rlawjdghek/StableVITON 获取 *****

预览图

高分辨率虚拟试穿：处理错位和遮挡条件 Sangyun Lee*1, Gyojung Gu*2,3, Sunghyun Park2, Seunghwan Choi2, Jaegul Choo2 1崇实大学, 2韩国科学技术院, 3Nestyle 发表于ECCV 2022 (* 表示贡献相同)

论文: https://arxiv.org/abs/2206.14180 项目页面: https://koo616.github.io/HR-VITON

摘要: 基于图像的虚拟试穿旨在合成一个人穿着给定服装的图像。为解决这个任务，现有方法将服装变形以适应人体，并生成人物穿着该服装的分割图，然后将服装与人物融合。然而，当变形和分割图生成阶段单独运作而没有信息交换时，会出现变形后的服装与分割图之间的错位，导致最终图像中出现伪影。信息断开还会导致被身体部位遮挡的服装区域附近过度变形，即所谓的像素挤压伪影。为解决这些问题，我们提出了一种新颖的试穿条件生成器，作为这两个阶段（即变形和分割图生成阶段）的统一模块。条件生成器中新提出的特征融合块实现了信息交换，并且条件生成器不会产生任何错位或像素挤压伪影。我们还引入了判别器拒绝机制，过滤掉不正确的分割图预测，确保虚拟试穿框架的性能。在高分辨率数据集上的实验表明，我们的模型成功处理了错位和遮挡问题，并显著优于基准方法。

安装

克隆此仓库：

git clone https://github.com/sangyun884/HR-VITON.git
cd ./HR-VITON/

安装PyTorch和其他依赖：

conda create -n {env_name} python=3.8
conda activate {env_name}
conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch-lts -c nvidia
pip install opencv-python torchgeometry Pillow tqdm tensorboardX scikit-image scipy

数据集

我们使用VITON-HD: High-Resolution Virtual Try-On via Misalignment-Aware Normalization的数据集来训练和评估我们的模型。

要下载数据集，请查看以下链接 https://github.com/shadow2496/VITON-HD。

我们假设您已将其下载到./data目录。

推理

以下是每个模型检查点的下载链接：

试穿条件生成器：链接
试穿条件生成器（判别器）：链接
试穿图像生成器：链接
AlexNet（LPIPS）：链接，我们假设您已将其下载到./eval_models/weights/v0.1目录。

python3 test_generator.py --occlusion --cuda {True} --test_name {test_name} --tocg_checkpoint {condition generator ckpt} --gpu_ids {gpu_ids} --gen_checkpoint {image generator ckpt} --datasetting unpaired --dataroot {dataset_path} --data_list {pair_list_textfile}

训练试穿条件生成器

python3 train_condition.py --cuda {True} --gpu_ids {gpu_ids} --Ddownx2 --Ddropout --lasttvonly --interflowloss --occlusion

训练试穿图像生成器

python3 train_generator.py --cuda {True} --name test -b 4 -j 8 --gpu_ids {gpu_ids} --fp16 --tocg_checkpoint {condition generator ckpt path} --occlusion

这个阶段使用两块RTX 3090 GPU大约需要4天。测试环境：PyTorch 1.8.2+cu111。

要使用"--fp16"选项，您需要安装apex库。

许可

所有材料均在Creative Commons BY-NC 4.0许可下提供。您可以使用、重新分发和改编这些材料用于非商业目的，只要您通过引用我们的论文给予适当的信誉，并指出您所做的任何更改。

引用

如果您发现这项工作对您的研究有用，请引用我们的论文：

@article{lee2022hrviton,
  title={High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions},
  author={Lee, Sangyun and Gu, Gyojung and Park, Sunghyun and Choi, Seunghwan and Choo, Jaegul},
  journal={arXiv preprint arXiv:2206.14180},
  year={2022}
}