👔IMAGDressing👔：交互式模块化服装生成虚拟试衣系统

📦️ 发布

• [2024/07/30] 🔥 我们发布了用于gradio界面的WebUI代码。
• [2024/07/26] 🔥 我们发布了在线WebUI，感谢ZeroGPU提供免费的A100 GPU。原有的Gradio演示即将停用。
• [2024/07/19] 🔥 我们发布了卡通风格虚拟试衣的代码和示例。
• [2024/07/18] 🔥 我们发布了IMAGDressing-v1的技术报告和CAMI指标代码。
• [2024/07/16] 🔥 我们为完整VD和VTON添加了批量推理功能。感谢@ZhaoChaoqun的贡献。
• [2024/07/01] 🔥 我们在assets/images目录中发布了测试案例。
• [2024/06/21] 🔥 我们发布了修复功能以实现服装更换。实验性功能。
• [2024/06/13] 🔥 我们发布了IMAGDressing-v1的Gradio演示（服务即将停用）。
• [2024/05/28] 🔥 我们发布了兼容IP-Adapter和ControlNet的SD1.5推理代码。
• [2024/05/08] 🔥 我们推出了IMAGDressing-v1的项目页面。

---

IMAGDressing-v1：可定制虚拟试衣系统

🚀 主要特点：

1. 简单架构：IMAGDressing-v1生成逼真的服装并支持简单的用户驱动场景编辑。
2. 新任务、指标和数据集：引入虚拟试衣（VD）任务，设计全面亲和度指标（CAMI），并发布IGPair数据集。
3. 灵活插件兼容性：无缝集成扩展插件，如IP-Adapter、ControlNet、T2I-Adapter和AnimateDiff。
4. 快速定制：无需额外的LoRA训练，可在几秒内实现快速定制。

🔥 示例

[示例图片和GIF]

<span style="color:red">结合IP-Adapter和Controlnet-Pose</span>

[结合示例图片]

<span style="color:red">支持不同场景的文本提示</span>

[不同场景示例图片]

<span style="color:red">支持指定区域的服装更换（实验性功能）</span>

[服装更换示例图片]

<span style="color:red">支持生成卡通风格图像（实验性功能）</span>

[卡通风格示例图片]

🏷️ 简介

为解决虚拟试衣系统中灵活可控定制的需求，我们提出了IMAGDressing-v1。具体而言，我们引入了一个服装UNet，捕捉CLIP的语义特征和VAE的纹理特征。我们的混合注意力模块包括一个冻结的自注意力和一个可训练的交叉注意力，将这些特征整合到冻结的去噪UNet中，以确保用户可控编辑。我们将发布一个全面的数据集IGPair，包含超过30万对服装和穿着图像，并建立标准数据组装流程。此外，IMAGDressing-v1可以与ControlNet、IP-Adapter、T2I-Adapter和AnimateDiff等扩展结合，以增强多样性和可控性。

[框架图片]

🔧 要求

• Python >= 3.8（推荐使用Anaconda或Miniconda）
• PyTorch >= 2.0.0
• cuda==11.8

conda create --name IMAGDressing python=3.8.10
conda activate IMAGDressing
pip install -U pip

# 安装依赖
pip install -r requirements.txt

---

🌐 下载模型

您可以从HuggingFace或百度云下载我们的模型。您可以从原始仓库下载其他组件模型，如下所示。

• stabilityai/sd-vae-ft-mse
• SG161222/Realistic_Vision_V4.0_noVAE
• h94/IP-Adapter-FaceID
• lllyasviel/control_v11p_sd15_openpose

🎉 如何使用

<span style="color:red">重要提醒</span>

1. 随机生成面孔和姿势，穿上指定的衣服

python inference_IMAGdressing.py --cloth_path [你的衣服路径]

2. 随机生成面孔，使用给定的姿势穿上给定的服装

python inference_IMAGdressing_controlnetpose.py --cloth_path [你的衣服路径] --pose_path [你的姿势路径]

3. 指定面孔和姿势，穿上指定的衣服

python inference_IMAGdressing_ipa_controlnetpose.py --cloth_path [你的衣服路径] --face_path [你的面孔路径] --pose_path [你的姿势路径]

4. 指定模特穿上指定的衣服（实验性功能）

<span style="color:red">请先从IDM-VTON-Huggingface下载humanparsing和openpose模型文件到ckpt文件夹。</span>

python inference_IMAGdressing_controlnetinpainting.py --cloth_path [你的衣服路径] --model_path [你的模特路径]

5. 指定卡通风格生成图像（实验性功能）

python inference_IMAGdressing_counterfeit-v30.py --cloth_path [你的衣服路径] --model_path [你的模特路径]

🤗Gradio界面🤗

我们还提供了一个Gradio <a href='https://github.com/gradio-app/gradio'><img src='https://img.shields.io/github/stars/gradio-app/gradio'></a> 界面以获得更好的体验，只需运行：

pip install modelscope==1.15.0
pip install mmcv-full==1.7.2
pip install mmdet==2.26.0

python app.py  --model_weight $模型路径 --server_port  7860

您可以指定 --server_port 参数以满足您的需求！

或者，在HuggingFace上轻松尝试 🤗

📚 参与其中

加入我们这个激动人心的旅程，一起改变虚拟试衣系统。为我们的仓库点星⭐️以获取最新进展，并为使IMAGDressing成为虚拟试衣生成的领先解决方案做出贡献。

IMAGDressing-v1的第三方实现：

• @v3ucn 的 windows-webui
• @AIFSH 的 comfyUI

致谢

我们要感谢IDM-VTON、MagicClothing、IP-Adapter、ControlNet、T2I-Adapter和AnimateDiff仓库的贡献者，感谢他们的开放研究和探索。

IMAGDressing代码可用于学术和商业用途。但是，从IMAGDressing手动和自动下载的模型仅供非商业研究目的使用。同样，我们发布的检查点仅限于研究用途。用户可以使用此工具创建图像，但必须遵守当地法律并负责任地使用。开发者对用户可能的滥用不承担任何责任。

📝 引用

如果您发现IMAGDressing-v1对您的研究和应用有用，请使用以下BibTeX进行引用：

@article{shen2024IMAGDressing-v1,
  title={IMAGDressing-v1: Customizable Virtual Dressing},
  author={Shen, Fei and Jiang, Xin and He, Xin and Ye, Hu and Wang, Cong, and Du, Xiaoyu, Li Zechao, and Tang, Jinghui},
  booktitle={arXiv preprint arXiv:2407.12705},
  year={2024}
}

🕒 待办事项

• Gradio演示
• 推理代码
• 模型权重（512大小版本）
• 支持修复
• 模型权重（更高大小版本）
• 论文
• 评估指标代码
• IGPair数据集
• 训练代码
• 视频试衣
• 其他，如用户需求

📨 联系

如果您有任何问题，请随时通过shenfei140721@126.com与我联系。