IP Adapter Instruct: 使用指令提示解决基于图像条件的歧义

<a href='https://unity-research.github.io/IP-Adapter-Instruct.github.io/'><img src='https://img.shields.io/badge/项目-主页-green'></a> <a href=''><img src='https://img.shields.io/badge/技术-报告-red'></a> <a href='https://huggingface.co/CiaraRowles/IP-Adapter-Instruct'><img src='https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-模型-blue'></a> <a href='https://huggingface.co/spaces/unity/IP-Adapter-Instruct'><img src='https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-演示-Yellow'></a>

我们推出：IP Adapter Instruct：通过在IP-Adapter-Plus中使用的转换器模型上添加额外的文本嵌入条件，一个模型就可以用最少的设置有效地执行各种图像生成任务。

扩散模型不断推动着最先进图像生成的边界，但这个过程很难进行精细控制：实践证明，文本提示不足以准确描述图像风格或精细的结构细节（如面部）。

ControlNet和IPAdapter通过将生成过程条件化于图像来解决这一缺点，但每个单独的实例仅限于建模单一的条件后验：对于实际用例，在同一工作流程中需要多个不同的后验时，训练和使用多个适配器会变得很麻烦。

我们提出IPAdapter-Instruct，它将自然图像条件与"指令"提示相结合，以在同一条件图像的不同解释之间切换：风格迁移、对象提取、两者兼顾，或是其他内容？IPAdapterInstruct高效地学习多个任务，与专门的单任务模型相比，质量损失最小。

使用方法

pip install -r requirements.txt

从这里下载模型：https://huggingface.co/CiaraRowles/IP-Adapter-Instruct

将它们放在"models"文件夹中

运行demo.py、demo_sdxl.py或demo_sd3_instruct.py

每个模型当前可能的查询如下（不必完全符合这些查询，这只是训练任务的列表）

sd15
"使用图像中的所有内容"
"使用风格"
"使用颜色"
"使用姿势"
"使用构图"
"使用面部"
"使用前景"（测试版）
"使用背景"（测试版）
"使用物体"

sdxl和sd3
"使用图像中的所有内容"
"使用风格"
"使用颜色"
"使用姿势"
"使用构图"
"使用面部"

演示脚本目前会处理cfg和scale设置的具体细节，对于您自己的实现，您可能希望允许对这些进行更多控制。一般来说，所有内容、风格、颜色和面部使用简单的cfg效果更好，对于其他任务使用三向cfg，对于这些后续指令类型，您可能需要降低scale以获得良好的结果。

引用

进行中