提示语到提示语

潜在扩散和稳定扩散实现

预览图

项目主页 论文

环境配置

本代码使用 Python 3.8 和 Pytorch 1.11 进行测试,通过 huggingface / diffusers 使用预训练模型。具体来说,我们在潜在扩散和稳定扩散上实现了我们的方法。其他所需的包列在 requirements 文件中。代码在 Tesla V100 16GB 上进行了测试,但应该可以在至少有 12GB 显存的其他显卡上运行。

快速入门

为了快速入门,我们建议查看我们的笔记本:prompt-to-prompt_ldm 和 prompt-to-prompt_stable。这些笔记本包含在 潜在扩散 和 稳定扩散 之上使用 prompt-to-prompt 的端到端示例。查看这些笔记本以了解如何使用不同类型的提示编辑并理解 API。

提示编辑

在我们的笔记本中,我们通过实现以下形式的抽象类 AttentionControl 对象来执行主要逻辑:

class AttentionControl(abc.ABC):
    @abc.abstractmethod
    def forward (self, attn, is_cross: bool, place_in_unet: str):
        raise NotImplementedError

forward 方法在图像生成过程中的每个注意力层中被调用,我们用它来修改注意力的权重。我们的方法(见我们论文的第 3 节)使用上述程序编辑图像,每种不同的提示编辑类型以不同的方式修改注意力的权重。

我们代码的一般流程如下,根据注意力控制类型有所变化:

prompts = ["一幅松鼠吃汉堡的画", ...]
controller = AttentionControl(prompts, ...)
run_and_display(prompts, controller, ...)

替换

在这种情况下,用户将原始提示中的标记替换为其他标记,例如,将提示 "一幅松鼠吃汉堡的画" 编辑为 "一幅松鼠吃千层面的画" 或 "一幅狮子吃汉堡的画"。为此,我们定义了 AttentionReplace 类。

细化

在这种情况下,用户向提示中添加新的标记,例如,将提示 "一幅松鼠吃汉堡的画" 编辑为 "一幅松鼠吃汉堡的水彩画"。为此,我们定义了 AttentionEditRefine 类。

重新加权

在这种情况下,用户改变提示中某些标记的权重,例如,对于提示 "夜晚罂粟田的照片",加强或减弱 夜晚 这个词对生成图像的影响程度。为此,我们定义了 AttentionReweight 类。

注意力控制选项

cross_replace_steps: 指定编辑交叉注意力图的步骤比例。也可以设置为字典 [str:float],为提示中的不同单词指定比例。
self_replace_steps: 指定替换自注意力图的步骤比例。
local_blend (可选): 用于进行局部编辑的 LocalBlend 对象。LocalBlend 使用每个提示中对应于我们想要编辑的图像区域的单词进行初始化。
equalizer: 仅用于注意力重新加权。一个系数向量,用于乘以每个交叉注意力权重。

引用

@article{hertz2022prompt,
  title = {Prompt-to-Prompt Image Editing with Cross Attention Control},
  author = {Hertz, Amir and Mokady, Ron and Tenenbaum, Jay and Aberman, Kfir and Pritch, Yael and Cohen-Or, Daniel},
  journal = {arXiv preprint arXiv:2208.01626},
  year = {2022},
}

用于编辑真实图像的空文本反演

项目主页 论文

空文本反演可以通过稳定扩散模型直观地对真实图像进行基于文本的编辑。我们使用初始的 DDIM 反演作为优化的锚点,只调整用于无分类器引导的空文本嵌入。

预览图

编辑真实图像

通过首先使用空文本反演对真实图像进行提示语到提示语的编辑在这个笔记本中提供。

@article{mokady2022null,
  title={Null-text Inversion for Editing Real Images using Guided Diffusion Models},
  author={Mokady, Ron and Hertz, Amir and Aberman, Kfir and Pritch, Yael and Cohen-Or, Daniel},
  journal={arXiv preprint arXiv:2211.09794},
  year={2022}
}