MS-Diffusion

<div align="center"> <i>MS-Diffusion</i>：基于布局引导的多主体零样本图像个性化 </div>

</div>

概述

本仓库包含论文"MS-Diffusion：基于布局引导的多主体零样本图像个性化"的官方实现。

近期文本到图像生成模型的进展显著提高了从文本提示生成真实感图像的能力，这导致了对个性化文本到图像应用的兴趣增加，尤其是在多主体场景中。然而，这些进展面临两个主要挑战：首先，需要根据文本描述准确维持每个参考主体的细节；其次，难以在单一图像中实现多个主体的连贯表示而不引入不一致性。为解决这些问题，我们的研究引入了MS-Diffusion框架，用于基于布局引导的多主体零样本图像个性化。这种创新方法将定位标记与特征重采样器结合，以维持主体间的细节保真度。通过布局引导，MS-Diffusion进一步改进了交叉注意力以适应多主体输入，确保每个主体条件作用于特定区域。提出的多主体交叉注意力机制在保持文本控制的同时，协调了和谐的主体间构图。全面的定量和定性实验证实，该方法在图像和文本保真度方面均超越了现有模型，推动了个性化文本到图像生成的发展。

MS-Diffusion为模型引入了两个关键改进：定位重采样器和多主体交叉注意力机制。首先，定位重采样器巧妙地吸收视觉信息，将其与特定实体和空间约束相关联。随后，交叉注意力机制在多主体注意力层中促进了图像条件与扩散潜在表示之间的精确交互。在整个训练阶段，预先存在的扩散模型的所有组件保持冻结状态。

社区资源

感谢smthemex提供的ComfyUI版本。

开始使用

设置

git clone git@github.com:MS-Diffusion/MS-Diffusion.git
cd msdiffusion
pip install -r requirements.txt

模型

从SDXL-base-1.0和CLIP-G下载预训练的基础模型。

从MS-Diffusion下载我们的检查点。

推理

python inference.py

您应在脚本中添加预训练模型和参考主体的路径。实际应用中，使用遮罩图像会更好，因为它们不包含无关信息。根据需要修改phrases和boxes。请注意，phrases和boxes的顺序应与输入图像相同。

scale参数用于确定图像控制的程度。默认情况下，scale设置为0.6。实际应用中，如果您的输入包含需要影响整个图像的主体（如背景），scale设为0.4可能会更好。请根据您的应用自由调整scale。

如果您想使用controlnets进行推理，请设置您的controlnet模型并运行：

python inference_controlnet.py

基准测试

我们在./msbench中提供了提出的MS-Bench。提示模板在./msdiffusion/dataset/prompts/msbench.py中。

MS-Bench包含四种数据类型和13种包含两个或三个主体的组合类型。除了与场景相关的组合类型外，每种组合类型都有6种提示变体。共有1148种组合和4488个评估样本，其中实体和框是主体类别和预设布局。与其他多主体基准相比，我们的MS-Bench确保模型性能可以在丰富的案例中得到全面反映。

详细信息可在论文中找到。

待办事项

论文
推理代码
模型权重
训练代码

新功能

自动布局引导

您可能会发现在某些情况下难以确定布局先验。MS-Diffusion现在支持使用文本交叉注意力图作为伪布局引导。具体来说，由于文本交叉注意力图可以反映每个文本标记的区域，我们可以在推理过程中用它们替代布局先验。您可以通过以下方式轻松启用此功能：

images = ms_model.generate(..., mask_threshold=0.5, start_step=5)

这里，mask_threshold用于过滤文本交叉注意力图，start_step是开始使用伪布局引导的步骤。这样，您可以提供一个粗略的框输入。MS-Diffusion在start_step之前仍使用布局先验，然后切换到文本交叉注意力图中激活值大于mask_threshold的区域。请注意，使用此功能时，您必须确保在文本中可以找到phrases。生成质量取决于文本交叉注意力图的准确性。

当主体框重叠时（如"物体+场景"），这个功能被发现很有用。使用自动布局引导，您还可以增加scale以获得更高的图像保真度。

您也可以通过将boxes设置为零并将drop_grounding_tokens设置为1来完全禁用布局先验。然而，我们发现使用这种设置会导致生成质量下降。我们建议在早期步骤中使用布局先验。

多主体尺度

现在MS-Diffusion在推理过程中支持不同主体使用不同的尺度。您可以在调用generate()函数时设置subject_scales：

subject_scales = [0.6, 0.8]
images = ms_model.generate(..., subject_scales=subject_scales)

使用subject_scales时，scale将不会对模型产生影响。

致谢

本仓库基于IP-Adapter的出色、稳健和可扩展的工作构建。我们还要感谢StabilityAI和HuggingFace对开源社区的贡献。

引用

如果您发现这项工作有帮助，请考虑引用：

@article{wang2024ms,
  title={MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance},
  author={Wang, X and Fu, Siming and Huang, Qihan and He, Wanggui and Jiang, Hao},
  journal={arXiv preprint arXiv:2406.07209},
  year={2024}
}