multimodal-garment-designer

multimodal-garment-designer 项目介绍

项目概述

Multimodal Garment Designer 是一个专注于时尚图像编辑的项目，利用多模态潜在扩散模型来提升设计效果。与以往主要关注服装虚拟试穿的研究不同，该项目提出了一种以多模态提示（如文本、人类姿势和服装草图）为指导的人性化时尚图像生成新任务。通过这种方式，设计师可以通过计算机视觉技术将设计理念从概念化推向实现。

项目背景

在时尚界，设计师常常通过时尚插图来传达他们的设计愿景，展现服装与人体的互动。在这个过程中，使用计算机视觉技术可以大大提高时尚设计的效率与效果。然而，针对时尚领域的多模态条件图像编辑仍然是一个未被充分开发的领域。因此，本项目提出了一种基于潜在扩散模型的新架构，以弥补这一空白。此外，由于缺乏现有合适的数据集，我们还在 Dress Code 和 VITON-HD 两个现有的时尚数据集上拓展了多模态标注。实验表明，该项目在生成的图像真实感和多模态输入一致性方面都展现出了良好的效果。

数据集与模型

为了支持多模态时尚图像编辑任务，本项目对 Dress Code 和 VITON-HD 数据集进行了扩展。用户可以通过预下载的数据集进行相关实验和测试。项目还提供了预训练模型与检查点，用户可以通过 TorchHub 加载模型。

安装与使用

1. 克隆项目仓库：

   git clone https://github.com/aimagelab/multimodal-garment-designer

2. 安装 Python 依赖：

   使用 Anaconda 创建并激活环境：

   conda env create -n mgd -f environment.yml
   conda activate mgd

3. 运行推理：

   使用以下命令启动推理过程：

   python src/eval.py --dataset_path <path> --batch_size <int> --mixed_precision fp16 --output_dir <path> --save_name <string> --num_workers_test <int> --sketch_cond_rate 0.2 --dataset <dresscode|vitonhd> --start_cond_rate 0.0 --test_order <paired|unpaired>

项目目标

本项目旨在通过多模态条件引导的方式，提升时尚图像的编辑与设计效率。其最终目标是为时尚产业提供更加智能化、直观化的设计工具，使设计师能够更好地实现他们的创意。

支持与致谢

该项目得到了意大利大学与研究部共同资助的“未来人工智能研究（FAIR）” PNRR 项目、“CREATIVE” PRIN 项目，以及欧洲地平线2020计划（项目编号101004545 - ReInHerit）的支持。在此特别感谢支持此研究的单位和项目。

许可证

本项目的所有材料均遵循 Creative Commons BY-NC 4.0 协议。用户可以在非商业目的下使用、重新分发及适应材料，同时需要适当引用并注明所做的更改。