天选之子：文本到图像扩散模型中的一致性角色（非官方实现）

这个仓库包含了论文《天选之子：文本到图像扩散模型中的一致性角色》的非官方PyTorch实现，使用Diffuser框架。

感谢作者们的出色工作，如果您觉得这个实现有帮助，也请考虑给个星标🌟。😻😻😻

（请注意，我没有仔细调整上述结果生成的超参数，但它们已经足够好了。）

待办事项

• 代码发布
• 训练说明
• 推理说明
• ControlNet支持
• 本地图像编辑
• 一些可视化结果

入门指南

安装和前提条件

安装diffuser 0.24.0.dev0：

git clone https://github.com/huggingface/diffusers
cd diffusers
pip install .

克隆仓库并安装所需包：

git clone git@github.com:ZichengDuan/TheChosenOne.git
cd TheChosenOne
pip install -r requirements.txt

您还需要修改config/theChosenOne.yaml中的配置文件以适应您的本地环境。

数据备份文件夹准备

您需要创建一个备份数据文件夹，用于存储第一轮生成的初始图像，以便下次如果想再次训练相同角色时能更快地开始训练。 这在配置文件中设置如下：

backup_data_dir_root: 您的数据文件夹的绝对路径

运行代码

训练

python main.py

推理

只需运行：

python inference.py

脚本将加载您在inference.py和配置文件中指定的模型。

引用论文

请务必尊重作者并正确引用他们的工作。🫡

@article{avrahami2023chosen,
  title={The Chosen One: Consistent Characters in Text-to-Image Diffusion Models},
  author={Avrahami, Omri and Hertz, Amir and Vinker, Yael and Arar, Moab and Fruchter, Shlomi and Fried, Ohad and Cohen-Or, Daniel and Lischinski, Dani},
  journal={arXiv preprint arXiv:2311.10093},
  year={2023}
}