multimodal-garment-designer

multimodal-garment-designer 项目介绍

项目概述

Multimodal Garment Designer 是一个专注于时尚图像编辑的项目，利用多模态潜在扩散模型来提升设计效果。与以往主要关注服装虚拟试穿的研究不同，该项目提出了一种以多模态提示（如文本、人类姿势和服装草图）为指导的人性化时尚图像生成新任务。通过这种方式，设计师可以通过计算机视觉技术将设计理念从概念化推向实现。

项目背景

在时尚界，设计师常常通过时尚插图来传达他们的设计愿景，展现服装与人体的互动。在这个过程中，使用计算机视觉技术可以大大提高时尚设计的效率与效果。然而，针对时尚领域的多模态条件图像编辑仍然是一个未被充分开发的领域。因此，本项目提出了一种基于潜在扩散模型的新架构，以弥补这一空白。此外，由于缺乏现有合适的数据集，我们还在 Dress Code 和 VITON-HD 两个现有的时尚数据集上拓展了多模态标注。实验表明，该项目在生成的图像真实感和多模态输入一致性方面都展现出了良好的效果。

数据集与模型

为了支持多模态时尚图像编辑任务，本项目对 Dress Code 和 VITON-HD 数据集进行了扩展。用户可以通过预下载的数据集进行相关实验和测试。项目还提供了预训练模型与检查点，用户可以通过 TorchHub 加载模型。

安装与使用

克隆项目仓库：

git clone https://github.com/aimagelab/multimodal-garment-designer

安装 Python 依赖：

使用 Anaconda 创建并激活环境：
```
conda env create -n mgd -f environment.yml
conda activate mgd
```

运行推理：

使用以下命令启动推理过程：

python src/eval.py --dataset_path <path> --batch_size <int> --mixed_precision fp16 --output_dir <path> --save_name <string> --num_workers_test <int> --sketch_cond_rate 0.2 --dataset <dresscode|vitonhd> --start_cond_rate 0.0 --test_order <paired|unpaired>