Phased Consistency Model: 一种强大的图像生成加速方法

Phased Consistency Model:加速扩散模型的图像生成

近年来,扩散模型在高质量图像生成领域取得了巨大的成功。然而,扩散模型通常需要数百次迭代才能生成高质量图像,这限制了其在实际应用中的使用。为了加速扩散模型的采样过程,研究人员提出了一致性模型(Consistency Model, CM)。CM可以在很少的步骤内生成高保真度的图像,但其在高分辨率、文本条件图像生成任务中的应用效果仍不理想。

为了解决这个问题,来自香港中文大学等机构的研究人员提出了一种新的方法 - Phased Consistency Model (PCM)。PCM是对原始一致性模型的改进和扩展,旨在实现高分辨率、文本条件的图像快速生成。

PCM的核心思想

PCM的核心思想是将整个ODE轨迹分成多个子轨迹。这种设计有效地解决了之前方法存在的三个主要局限性:

1. 缺乏灵活性:之前的方法在选择CFG(条件引导因子)时缺乏灵活性,对负面提示词不敏感。
2. 结果不一致:在不同推理步骤下,生成结果不一致。步骤太多时会出现模糊(随机采样误差),步骤太少时效果又不理想。
3. 低步骤效果差:在低步骤(1-4步)生成时,结果质量较差。

通过将ODE轨迹分阶段处理,PCM很好地克服了这些局限性,在各种生成设置下都能取得优异的表现。

PCM的优势

相比之前的方法,PCM具有以下优势:

1. 更好的生成质量:PCM在1-16步的图像生成中都能取得优异的表现,生成质量明显优于之前的方法。

2. 更高的灵活性:PCM允许更灵活地选择CFG因子,对正面和负面提示词都很敏感。

3. 结果一致性:在不同的推理步骤下,PCM能产生一致的高质量结果。

4. 训练效率高:相比其他方法(如CTM),PCM的训练目标数量更少,训练效率更高。

5. 广泛适用性:PCM不仅适用于图像生成,还可以应用于视频生成等任务。

PCM的实验结果

研究人员在多个数据集上对PCM进行了广泛的实验。结果表明:

• 在CIFAR数据集上,PCM的4步无条件生成模型达到了2.03的FID分数。8步模型更是达到了1.94的FID和10.05的Inception Score。

• 在ImageNet64数据集上,PCM的4步条件生成模型仅用0.1%的训练预算就达到了3.0的FID,远优于官方CM模型4.3的FID。

• 在高分辨率文本到图像生成任务中,PCM显著优于当前开源的快速生成模型,包括基于GAN的SDXL-Turbo、SD-Turbo、SDXL-Lightning,基于修正流的InstaFlow,以及基于CM的LCM、SimpleCTM等方法。

PCM的应用前景

PCM不仅在图像生成领域表现出色,研究人员还将其应用到了视频生成任务中。通过PCM,研究人员训练出了目前最先进的少步文本到视频生成器。这表明PCM具有广泛的应用前景,有望在更多生成任务中发挥重要作用。

结论

Phased Consistency Model (PCM)是一种强大的图像生成加速方法,它通过巧妙的设计解决了之前方法存在的局限性,在保持高质量生成效果的同时,大大加速了扩散模型的采样过程。PCM的出现为高质量、高效率的图像和视频生成开辟了新的可能性,有望在计算机视觉、多媒体处理等多个领域产生重要影响。

随着PCM的进一步发展和优化,我们可以期待在不久的将来,基于PCM的技术将被广泛应用于各种实际场景,为创意产业、娱乐媒体、数字艺术等领域带来革命性的变革。

参考资料

• PCM项目GitHub仓库
• PCM技术报告
• PCM预训练模型
• PCM在线演示