ViViD

ViViD：使用扩散模型的视频虚拟试穿

数据集

已发布的数据集：ViViD

安装

git clone https://github.com/alibaba-yuanjing-aigclab/ViViD
cd ViViD

环境

conda create -n vivid python=3.10
conda activate vivid
pip install -r requirements.txt  

权重

你可以将权重放在任何你喜欢的地方，例如，./ckpts。如果你将它们放在其他地方，只需要在./configs/prompts/*.yaml中更新路径即可。

Stable Diffusion 图像变体

cd ckpts

git lfs install
git clone https://huggingface.co/lambdalabs/sd-image-variations-diffusers

SD-VAE-ft-mse

git lfs install
git clone https://huggingface.co/stabilityai/sd-vae-ft-mse

运动模块

下载 mm_sd_v15_v2

ViViD

git lfs install
git clone https://huggingface.co/alibaba-yuanjing-aigclab/ViViD

推理

我们在./configs/prompts/中提供了两个演示，运行以下命令即可尝试😼。

python vivid.py --config ./configs/prompts/upper1.yaml

python vivid.py --config ./configs/prompts/lower1.yaml

数据

如./data中所示，应提供以下数据。

./data/
|-- agnostic
|   |-- video1.mp4
|   |-- video2.mp4
|   ...
|-- agnostic_mask
|   |-- video1.mp4
|   |-- video2.mp4
|   ...
|-- cloth
|   |-- cloth1.jpg
|   |-- cloth2.jpg
|   ...
|-- cloth_mask
|   |-- cloth1.jpg
|   |-- cloth2.jpg
|   ...
|-- densepose
|   |-- video1.mp4
|   |-- video2.mp4
|   ...
|-- videos
|   |-- video1.mp4
|   |-- video2.mp4
|   ...

Agnostic 和 agnostic_mask 视频

这部分比较复杂，你可以通过以下三种方式中的任何一种获得它们：

1. 按照 OOTDiffusion 逐帧提取（推荐）。
2. 使用 SAM + 高斯模糊（参见 ./tools/sam_agnostic.py 示例）。
3. 遮罩编辑工具。

请注意，agnostic 区域的形状和大小可能会影响试穿结果。

Densepose 视频

参见 vid2densepose（感谢）。

衣物遮罩

任何检测工具都可以用于获取遮罩，比如 SAM。

BibTeX

@misc{fang2024vivid,
        title={ViViD: Video Virtual Try-on using Diffusion Models}, 
        author={Zixun Fang and Wei Zhai and Aimin Su and Hongliang Song and Kai Zhu and Mao Wang and Yu Chen and Zhiheng Liu and Yang Cao and Zheng-Jun Zha},
        year={2024},
        eprint={2405.11794},
        archivePrefix={arXiv},
        primaryClass={cs.CV}
  }

联系我们

方子洵：zxfang1130@gmail.com
陈宇：chenyu.cheny@alibaba-inc.com