MIGC

项目介绍：MIGC 文本到图像合成

项目背景

MIGC（Multi-Instance Generation Controller）是一个创新的文本到图像合成控制器，主要用于通过文本描述生成高质量的图像。其主要目标是提供用户更好的控制能力，以生成多样化且具高保真度的图像。

项目特色

MIGC 项目在技术上具有以下几个亮点：

• 强化属性控制：MIGC 提供了增强的属性控制功能，用户可以通过脚本来改善图像属性的准确性。虽然推理时间稍有增加，但在 COCO-MIG 基准上的实例成功率显著提高至 68%。

• 多样化的图像生成：作为一个即插即用的控制器，MIGC 可以通过更换基础生成器权重来产生多样的图像效果，例如 RV60B1 和 Cetus-Mix 两种类型的模型，分别擅长于生成逼真和动画化的图像内容。

• 迭代编辑模式：最新发布的 Consistent-MIG 算法增强了 MIGC 的迭代生成能力，允许在不影响未修改区域一致性的前提下修改部分实例。

项目安装

用户可以通过以下步骤快速搭建 MIGC 环境：

1. 创建 Conda 环境并安装必要的依赖包。
2. 下载所需的模型检查点文件并放置在指定目录。
3. 运行简单命令行即可进行单张图像生成。

MIGC-GUI

为了使图像创作更为便捷，MIGC 项目结合了 GLIGEN-GUI 开发了用户界面，用户可以通过 GUI 进行图像合成操作。目前，该 GUI 仍在优化中，用户可以通过简单的步骤进行安装并运行该界面。

COCO-MIG 基准测试

COCO-MIG 基准被设计用于验证模型在位置和属性控制上的表现。通过多种方法的比较，MIGC 在各类指标上均表现优异。例如，在实例成功率和 MIOU 上，MIGC 相比其他模型（如InstanceDiffusion和GLIGEN）都有显著优势。

训练与数据准备

由于公司限制，目前 MIGC 的训练代码暂不开源，项目中提供了 COCO 数据集处理脚本供社区使用，以将来条件允许时可能会开放更多资源。

伦理考量

MIGC 所提供的广泛图像生成能力可能涉及到类似于其他短文本到图像生成方法的道德问题，用户在应用时需注意。

合作与鸣谢

MIGC 项目由浙江大学计算机科学与技术学院的 ReLER 实验室及华为公司共同监督。从开放式研究平台借鉴了众多优秀成果，如 Stable Diffusion 和 CLIP。更多项目进展及问题可以通过邮件联系开发团队。

引用格式

如果您在研究中使用了 MIGC，请使用提供的 BibTeX 引用该项目。

通过持续改进及创新，MIGC 项目力图在文本到图像合成领域为用户提供更强大的控制和表现力。