UltraPixel

这是UltraPixel: 将超高分辨率图像合成推向新高峰的实现。

UltraPixel旨在创建各种分辨率下的高品质、细节丰富的图像，推动超高分辨率图像合成的边界。欲了解更多详情并查看更多惊人图像，请访问项目页面。论文的arXiv版本包含压缩图像，而完整论文则包含未压缩的高质量图像。

预览图

开始使用

1. 运行以下命令安装依赖：

pip install -r requirements.txt

2. 按照StableCascade模型下载说明下载预训练模型。使用小-大模型配置（stage b使用小模型，stage使用bfloat16格式的大模型）。同时也支持大-大设置，但小-大配置更注重效率。

3. 从这里下载UltraPixel新增的参数。

注意：所有模型下载链接都在这里提供。它们应该放在models目录下。

推理

文本引导的图像生成

运行以下命令生成图像：

CUDA_VISIBLE_DEVICES=0 python inference/test_t2i.py

提示：要生成美观的图像，请使用具体描述的详细提示词。建议包括主体、背景、颜色、光线和情绪等元素，并使用"高质量"、"细节丰富"、"8K"、"照片级真实"、"电影感"和"完美"等高质量修饰词来增强你的提示。例如，使用"壮丽的日落照耀在宁静的山脉上，天空中呈现出鲜艳的橙色和紫色色调，高质量，细节丰富，8K，照片级真实，电影级光线，完美"。保持简洁但详细，具体而清晰，并尝试不同的词语组合以获得最佳效果。

这里提供了几个示例提示词。

建议在stage a的解码过程中添加"--stage_a_tiled"以节省内存。

下表显示了不同GPU上的内存需求和运行时间。对于80GB内存的A100，不需要使用分块解码。

在80G A100上：

分辨率	Stage C	Stage B	Stage A
2048*2048	15.9G / 12s	14.5G / 4s	不分块: 11.2G / 1s
4096*4096	18.7G / 52s	19.7G / 26s	不分块: 45.3G / 2s, 分块: 9.3G / 128s

在32G V100上（Stage C和B仅支持float32）:

分辨率	Stage C	Stage B	Stage A
2048*2048	16.7G / 83s	11.7G / 22s	不分块: 10.1G / 2s
4096*4096	18.0G / 287s	22.7G / 172s	不分块: 内存不足, 分块: 9.0G / 305s

在24G RTX4090上：

分辨率	Stage C	Stage B	Stage A
2048*2048	15.5G / 83s	13.2G / 22s	不分块: 11.3G / 1s
4096*4096	19.9G / 153s	23.4G / 44s	不分块: 内存不足, 分块: 11.3G / 114s

个性化图像生成

本仓库提供了一个猫咪的个性化模型。从这里下载个性化模型，并运行以下命令生成个性化结果。注意在文本命令中需要使用标识符"cat [roubaobao]"来指代这只猫。

CUDA_VISIBLE_DEVICES=0 python inference/test_personalized.py

Controlnet图像生成

下载StableCascade提供的Canny ControlNet，并运行以下命令：

CUDA_VISIBLE_DEVICES=0 python inference/test_controlnet.py

请注意，ControlNet未经进一步微调，因此支持的最高分辨率为4K，例如3840 * 2160，2048 * 2048。

文本到图像训练

将所有图像和描述放入一个文件夹。这里有一个示例训练数据集供参考。运行以下命令开始训练：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train/train_t2i.py configs/training/t2i.yaml

个性化训练

将所有图像放入一个文件夹。这里有一个示例训练数据集。训练提示可以描述为：a photo of a cat [roubaobao]。

运行以下命令开始训练：

CUDA_VISIBLE_DEVICES=0,1 python train/train_personalized.py \
configs/training/lora_personalization.yaml

引用

@article{ren2024ultrapixel,
  title={UltraPixel: Advancing Ultra-High-Resolution Image Synthesis to New Peaks},
  author={Ren, Jingjing and Li, Wenbo and Chen, Haoyu and Pei, Renjing and Shao, Bin and Guo, Yong and Peng, Long and Song, Fenglong and Zhu, Lei},
  journal={arXiv preprint arXiv:2407.02158},
  year={2024}
}