ProFusion

ProFusion（使用在大型数据集如CC3M上预训练的编码器）可用于高效构建定制数据集，该数据集可用于训练无需微调的定制助手（CAFE）。

给定一张测试图像，该助手可以以无需微调的方式执行定制生成。它可以处理复杂的用户输入，生成文本解释和详细说明以及图像，无需任何微调。

增强定制文本到图像生成的细节保留：无正则化方法的代码。

<br> <div style="text-align: center;"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/7c9e6de7-7d6e-4be9-904b-0d2441cdbe31.jpg" alt="examples" width="90%"> </div> <p align="center"> ProFusion 的结果 </p> <br>

ProFusion 是一个用于定制预训练大规模文本到图像生成模型的框架，在我们的示例中使用的是Stable Diffusion 2。

<br> <div style="text-align: center;"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/34281d39-a4ec-48a0-94a5-4afb39620eec.jpg" alt="framework" width="90%"> </div> <p align="center"> ProFusion 的示意图 </p> <br>

使用 ProFusion，您可以使用单张测试图像，在单个 GPU 上（微调时批量大小为 1 需要约 20GB 显存）为新颖/独特的概念生成无限数量的创意图像。

<br> <div style="text-align: center;"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/8a5c2b9c-fedf-4d3b-be5d-a29f5285fbc5.png" alt="examples" width="90%"> </div> <p align="center"> ProFusion 的结果 </p> <br>

示例

安装依赖项（我们修改了原始的 diffusers）；

  cd ./diffusers
  pip install -e .
  cd ..
  pip install accelerate==0.16.0 torchvision transformers==4.25.1 datasets ftfy tensorboard Jinja2 regex tqdm joblib

初始化 Accelerate；
```
  accelerate config
```
下载在 FFHQ 上预训练的模型；
使用测试图像定制模型，示例见 test.ipynb 笔记本；

训练您自己的编码器

如果您想为其他领域或在您自己的数据集上训练 PromptNet 编码器。

首先，准备一个仅包含图像的数据集；
- 在我们的人脸领域实验中，我们使用 FFHQ。我们预处理的 FFHQ 可在谷歌云盘链接找到；
- 我们还在 CC3M 上训练了一个编码器，它在任意下游领域都能产生良好的定制结果；

然后，运行

  accelerate launch --mixed_precision="fp16" train.py\
        --pretrained_model_name_or_path="stabilityai/stable-diffusion-2-base" \
        --train_data_dir=./images_512 \
        --max_train_steps=80000 \
        --learning_rate=2e-05 \
        --output_dir="./promptnet" \
        --train_batch_size=8 \
        --promptnet_l2_reg=0.000 \
        --gradient_checkpointing

引用

@article{zhou2023enhancing,
  title={Enhancing Detail Preservation for Customized Text-to-Image Generation: A Regularization-Free Approach},
  author={Zhou, Yufan and Zhang, Ruiyi and Sun, Tong and Xu, Jinhui},
  journal={arXiv preprint arXiv:2305.13579},
  year={2023}
}