PAIR扩散:全面的多模态对象级图像编辑器

[项目主页] [arXiv] [PDF] [引用]

<a href="https://vidit98.github.io/" style="color:blue;">Vidit Goel</a>1, <a href="https://helia95.github.io/" style="color:blue;">Elia Peruzzo</a>1,2, <a href="https://yifanjiang19.github.io/" style="color:blue;">Yifan Jiang</a>3, <a href="https://ir1d.github.io/" style="color:blue;">Dejia Xu</a>3, <a href="https://ifp-uiuc.github.io/" style="color:blue;">Xingqian Xu</a>3, <a href="http://disi.unitn.it/~sebe/" style="color:blue;">Nicu Sebe</a>2, <a href="https://people.eecs.berkeley.edu/~trevor/" style="color:blue;">Trevor Darrell</a>4, <a href="https://vita-group.github.io/" style="color:blue;">Zhangyang Wang</a>1,3 和 <a href="https://www.humphreyshi.com/home" style="color:blue;">Humphrey Shi</a> 1,5,6

特性

以下所有操作都可以在对象级别执行。我们的框架具有通用性，可应用于任何扩散模型。

外观编辑
自由形状编辑
添加对象
变体生成
使用参考图像和文本进行多模态控制

新闻

[2023/12/30] 模型和代码已发布。
[2023/11/10] 全新改进的方法和模型🚀🚀。模型和代码将很快发布。
[2023/09/04] 推理代码已发布
[2023/07/04] 演示已在🤗Huggingface空间上发布！
[2023/03/30] 论文已在arXiv上发布

结果

以下是我们的方法在SDv1.5上进行外观编辑的结果 <img src="https://yellow-cdn.veclightyear.com/835a84d5/de7b3063-0c0d-4de6-bf90-fa623e6526cd.gif" width="99%" raw=true> <img src="https://yellow-cdn.veclightyear.com/835a84d5/80de00aa-c567-45ce-b70e-5edc62d4bc83.gif" width="99%" raw=true> <img src="https://yellow-cdn.veclightyear.com/835a84d5/6f790caf-447f-41c3-b8fd-940c23c93b4b.gif" width="99%" raw=true>

对象级图像编辑

外观编辑

自由形状编辑和添加对象

更多结果请参考我们的项目页面和论文。

环境要求

使用以下命令设置conda环境。我们使用Oneformer在推理过程中获取分割图，请按照该仓库的指示设置Oneformer的环境。

conda env create -f environment.yml
conda activate pair-diff

推理

要运行模型，请使用以下命令启动gradio演示。它还将下载所需的模型。

python gradio_demo.py

预训练模型

我们将PAIR扩散应用于SDv1.5，并使用COCO-Stuff数据集对模型进行微调。模型卡可以从这里下载。

BibTeX

如果您在研究中使用我们的工作，请引用我们的出版物：

@article{goel2023pair,
      title={PAIR-Diffusion: Object-Level Image Editing with Structure-and-Appearance Paired Diffusion Models},
      author={Goel, Vidit and Peruzzo, Elia and Jiang, Yifan and Xu, Dejia and Sebe, Nicu and Darrell, Trevor and 
      Wang, Zhangyang and Shi, Humphrey},
      journal={arXiv preprint arXiv:2303.17546},
      year={2023} 
      }