PAIR扩散:全面的多模态对象级图像编辑器

[项目主页] [arXiv] [PDF] [引用]

<a href="https://vidit98.github.io/" style="color:blue;">Vidit Goel</a>¹, <a href="https://helia95.github.io/" style="color:blue;">Elia Peruzzo</a>^1,2, <a href="https://yifanjiang19.github.io/" style="color:blue;">Yifan Jiang</a>³, <a href="https://ir1d.github.io/" style="color:blue;">Dejia Xu</a>³, <a href="https://ifp-uiuc.github.io/" style="color:blue;">Xingqian Xu</a>³, <a href="http://disi.unitn.it/~sebe/" style="color:blue;">Nicu Sebe</a>², <a href="https://people.eecs.berkeley.edu/~trevor/" style="color:blue;">Trevor Darrell</a>⁴, <a href="https://vita-group.github.io/" style="color:blue;">Zhangyang Wang</a>^1,3 和 <a href="https://www.humphreyshi.com/home" style="color:blue;">Humphrey Shi</a> ^1,5,6 <br>

<img src="https://yellow-cdn.veclightyear.com/835a84d5/40a62744-4997-4db0-8157-066db215dae3.png" width="100%"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/d38e237f-4b40-487e-ab9a-b6fc0101c920.png" width="100%"/>

特性

以下所有操作都可以在对象级别执行。我们的框架具有通用性，可应用于任何扩散模型。

1. 外观编辑
2. 自由形状编辑
3. 添加对象
4. 变体生成
5. 使用参考图像和文本进行多模态控制

新闻

• [2023/12/30] 模型和代码已发布。
• [2023/11/10] 全新改进的方法和模型🚀🚀。模型和代码将很快发布。
• [2023/09/04] 推理代码已发布
• [2023/07/04] 演示已在🤗Huggingface空间上发布！
• [2023/03/30] 论文已在arXiv上发布

结果

以下是我们的方法在SDv1.5上进行外观编辑的结果 <img src="https://yellow-cdn.veclightyear.com/835a84d5/de7b3063-0c0d-4de6-bf90-fa623e6526cd.gif" width="99%" raw=true> <img src="https://yellow-cdn.veclightyear.com/835a84d5/80de00aa-c567-45ce-b70e-5edc62d4bc83.gif" width="99%" raw=true> <img src="https://yellow-cdn.veclightyear.com/835a84d5/6f790caf-447f-41c3-b8fd-940c23c93b4b.gif" width="99%" raw=true>

对象级图像编辑

外观编辑

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/ba13471c-ee1c-4a9f-8e59-fa08979e4e1a.png" width="99%"> </p>

自由形状编辑和添加对象

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/c9c62220-fec6-4193-b01e-34d65e1ad662.png" width="99%"> </p>

更多结果请参考我们的项目页面和论文。

环境要求

使用以下命令设置conda环境。我们使用Oneformer在推理过程中获取分割图，请按照该仓库的指示设置Oneformer的环境。

conda env create -f environment.yml
conda activate pair-diff

推理

要运行模型，请使用以下命令启动gradio演示。它还将下载所需的模型。

python gradio_demo.py

预训练模型

我们将PAIR扩散应用于SDv1.5，并使用COCO-Stuff数据集对模型进行微调。模型卡可以从这里下载。

BibTeX

如果您在研究中使用我们的工作，请引用我们的出版物：

@article{goel2023pair,
      title={PAIR-Diffusion: Object-Level Image Editing with Structure-and-Appearance Paired Diffusion Models},
      author={Goel, Vidit and Peruzzo, Elia and Jiang, Yifan and Xu, Dejia and Sebe, Nicu and Darrell, Trevor and 
      Wang, Zhangyang and Shi, Humphrey},
      journal={arXiv preprint arXiv:2303.17546},
      year={2023} 
      }