ru-dalle入门指南 - 从文本生成图像的强大工具

ru-dalle入门指南 - 从文本生成图像的强大工具

ru-dalle是一个由Sber AI等机构开发的开源文本到图像生成模型,能够根据俄语文本描述生成高质量图像。本文将介绍ru-dalle的基本信息、使用方法和相关资源,帮助读者快速入门这个强大的AI创作工具。

什么是ru-dalle?

ru-dalle是一个基于Transformer架构的文本到图像生成模型,主要特点包括:

• 支持俄语文本输入
• 开源,可在GitHub上获取代码
• 有XL(13亿参数)和XXL(120亿参数)两个版本
• 能生成256x256分辨率的图像

ru-dalle的名字来源于OpenAI的DALL-E模型,但实际上是一个独立开发的项目。

如何使用ru-dalle?

使用ru-dalle生成图像的基本步骤如下:

1. 安装ru-dalle:

pip install rudalle==1.1.3

2. 导入必要的库:

import ruclip
from rudalle import get_rudalle_model, get_tokenizer, get_vae, get_realesrgan
from rudalle.pipelines import generate_images, show, super_resolution, cherry_pick_by_ruclip

3. 加载模型:

device = 'cuda'
dalle = get_rudalle_model('Malevich', pretrained=True, fp16=True, device=device)
tokenizer = get_tokenizer()
vae = get_vae(dwt=True).to(device)

4. 生成图像:

text = 'радуга на фоне ночного города' # "夜空中的彩虹"
pil_images, _ = generate_images(text, tokenizer, dalle, vae, top_k=1024, top_p=0.99, images_num=24)
show(pil_images, 6)

5. 使用ruCLIP筛选最佳图像:

ruclip, ruclip_processor = get_ruclip('ruclip-vit-base-patch32-384', device=device)
top_images, _ = cherry_pick_by_ruclip(pil_images, text, ruclip, ruclip_processor, device=device, count=6)
show(top_images, 3)

6. 应用超分辨率:

realesrgan = get_realesrgan('x2', device=device)
sr_images = super_resolution(top_images, realesrgan)
show(sr_images, 3)

ru-dalle相关资源

1. GitHub仓库: https://github.com/ai-forever/ru-dalle

2. HuggingFace模型:

   • ruDALL-E Malevich (XL)
   • ruDALL-E Emojich (XL)
   • ruDALL-E Surrealist (XL)

3. 在线演示:

   • 官方demo: https://rudalle.ru/en/
   • Telegram机器人: @sber_rudalle_xl_bot

4. Colab notebooks:

   • 基本使用示例
   • 低内存使用示例
   • 微调示例

5. 相关文章:

   • ru-dalle官方介绍文章

ru-dalle生成示例

以下是一些使用ru-dalle生成的图像示例:

提示词: "радуга на фоне ночного города" (夜空中的彩虹)

提示词: "красивая тян из аниме" (美丽的动漫少女)

提示词: "роботы акварелью в стиле ван гога" (梵高风格的水彩机器人)

结语

ru-dalle为俄语用户提供了一个强大的文本到图像生成工具,也为研究人员提供了宝贵的开源资源。尽管目前主要支持俄语输入,但其架构和训练方法对其他语言的类似项目也有重要参考价值。随着技术的不断发展,相信会有更多类似ru-dalle的多语言文本到图像生成模型涌现,让AI辅助创作变得更加普及和便捷。