MimicBrush

<p align="center"> <h2 align="center">零样本图像编辑与参考模仿</h2> <p align="center"> <a href="https://xavierchen34.github.io/"><strong>陈曦</strong></a> · <a href="https://scholar.google.com.hk/citations?user=mZwJLeUAAAAJ&hl=zh-CN"><strong>冯宇同</strong></a> · <a href="https://mengtingchen.github.io/"><strong>陈梦婷</strong></a> · <a href="https://openreview.net/profile?id=~Yiyang_Wang2"><strong>王一扬</strong></a> · <a href="https://jshilong.github.io/"><strong>张世龙</strong></a> · <a href="https://scholar.google.com/citations?user=8zksQb4AAAAJ&hl=zh-CN"><strong>刘宇</strong></a> · <a href="https://shenyujun.github.io/"><strong>沈予军</strong></a> · <a href="https://hszhao.github.io/"><strong>赵恒爽</strong></a> <br> <br> <a href="https://arxiv.org/abs/2406.07547"><img src='https://yellow-cdn.veclightyear.com/35dd4d3f/4b3fca5a-45ec-45cc-982a-9f5d9735f9ab.png' alt='Paper PDF'></a> <a href='https://xavierchen34.github.io/MimicBrush-Page/'><img src='https://yellow-cdn.veclightyear.com/35dd4d3f/dc76ee21-fbb2-498f-b89f-0d0e1499ce1c.png' alt='Project Page'></a> <a href='https://modelscope.cn/studios/iic/mimicbrush-demo/summary'><img src='https://yellow-cdn.veclightyear.com/35dd4d3f/5b4bc518-0b2d-49aa-a6f0-425a687df8bf.png'></a> <a href='https://huggingface.co/spaces/xichenhku/MimicBrush'><img src='https://yellow-cdn.veclightyear.com/35dd4d3f/d4e3a32a-3f92-4d74-9921-ad9bcf0a1b88.png'></a> <br> <b>香港大学   |   阿里巴巴集团 |   蚂蚁集团 </b> </p> <table align="center"> <tr> <td> <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/55d37365-69f9-46a9-b418-9be5811fee58.png"> </td> </tr> </table>

新闻

[2024.06.12] 发布推断代码，本地 Gradio 演示，在线演示。
[待办] 发布我们的基准。

社区贡献

@AIFSH 制作的 ComfyUI 版本

安装

使用 conda 安装：

conda env create -f environment.yaml
conda activate mimicbrush

或者 pip：

#Python==3.8.5
pip install -r requirements.txt

下载检查点

下载 SD-1.5 和 SD-1.5-inpainting 检查点：

可以从 HuggingFace 下载 stable-diffusion-v1-5 和 stable-diffusion-inpainting
不过，上述仓库包含许多不会用到的模型，我们提供了一个干净版本在 cleansd

下载 MimicBrush 检查点及 VAE、CLIP 编码器和深度模型

从 ModelScope 下载权重 xichen/MimicBrush
该模型包含两个 U-Nets，因此文件较大。

可以使用以下代码从 ModelScope 下载

from modelscope.hub.snapshot_download import snapshot_download as ms_snapshot_download

sd_dir = ms_snapshot_download('xichen/cleansd', cache_dir='./modelscope')
print('=== 预训练的 SD 权重已下载 ===')
model_dir = ms_snapshot_download('xichen/MimicBrush', cache_dir='./modelscope')
print('=== MimicBrush 权重已下载 ===')

或者从 Huggingface 下载

from huggingface_hub import snapshot_download
snapshot_download(repo_id="xichenhku/cleansd", local_dir="./cleansd")
print('=== 预训练的 SD 权重已下载 ===')
snapshot_download(repo_id="xichenhku/MimicBrush", local_dir="./MimicBrush")
print('=== MimicBrush 权重已下载 ===')

Gradio 演示

首先，修改 ./configs/inference.yaml 设置模型权重路径。然后运行脚本：

python run_gradio3_demo.py

Gradio 演示的界面如下图所示。

<font color="#dd0000">*请不要忘记点击“保持原始形状”选项，如果想要进行纹理转移，类似于第三个案例。</font><br />

简短教程：

上传或选择待编辑的源图像。
在源图像上绘制待编辑区域。
上传或选择参考图像。
运行。

推断

从 Google Drive 下载我们的评估基准：
- URL: [待发布]
在 ./config/inference.yaml 中设置每个数据集和检查点的路径：
运行推断
```
python run_inference_benchmark.py
```

致谢

本项目基于 IP-Adapter 和 MagicAnimate 代码库开发，感谢这些伟大工作！

引用

如果您认为我们的代码库对您的研究有帮助，请使用以下条目。

@article{chen2024mimicbrush,
  title={Zero-shot Image Editing with Reference Imitation},
  author={陈曦, 冯宇同, 陈梦婷, 王一扬, 张世龙, 刘宇, 沈予军 和 赵恒爽},
  journal={arXiv preprint arXiv:2406.07547},
  year={2024}
}