DemoFusion

项目介绍：DemoFusion

DemoFusion是一个旨在普及高分辨率图像生成技术的项目。它基于生成式人工智能（GenAI），通过开源的方式来提升图像生成技术的普及度，同时降低使用门槛。由于高分辨率图像生成之前需要巨大的资本投入，许多技术资源都集中在少数大型企业手中。而DemoFusion则希望通过技术创新，让更多的人都能使用这项技术。

项目背景

生成式人工智能的高分辨率图像生成潜力巨大，但是高昂的训练成本使得只有少数企业能够承担。DemoFusion项目通过对现有的潜在扩散模型（LDMs）进行改进，发掘其在高分辨率图像生成中的潜力。该项目开发了一种新的框架——DemoFusion框架，以逐步放大（Progressive Upscaling）、跳跃残差（Skip Residual）和扩散采样（Dilated Sampling）为核心机制，实现高分辨率图像生成。

项目进展

DemoFusion已取得多项进展，包括：

2024.02.27: DemoFusion已被CVPR'24接收。
2023.12.15: 提供了一个ComfyUI的自定义节点实现。
2023.12.12: DemoFusion与ControNet集成。
2023.12.10: 支持Image2Image功能。
2023.12.08: 在HuggingFace上的Img2Img演示开放。
2023.12.07: 增加了Colab演示功能。
2023.12.06: 本地Gradio演示上线，交互更佳。
2023.12.04: 低显存版本发布，可在Windows 8 GB VRAM环境下运行。
2023.12.01: 集成至Replicate，在线演示可用。

项目功能

DemoFusion提供了多个使用场景：

在HuggingFace、Colab和Replicate平台上提供Text2Image和Image2Image的演示。
提供了完整的代码和启动方法，包括在Windows环境下的低显存版本。
提供本地Gradio的Text2Image和Image2Image演示。
支持DemoFusion与ControlNet集成的本地演示。

技术细节

项目中使用的一些主要参数包括：

view_batch_size、stride、cosine_scale_1、cosine_scale_2、cosine_scale_3、sigma等，这些参数影响生成过程中的不同方面，如效率、图像细节和生成速度。
文件夹和语法：用户可以在安装适当的环境后通过提供的代码和指引快速尝试DemoFusion的功能。