ELLA & EMMA

<table> <tr> <td> <h2> ELLA </h2> <p> 论文：<a href="https://arxiv.org/abs/2403.05135">ELLA：为扩散模型配备大语言模型以增强语义对齐 </a></p> <p> 项目网站：<a href="https://ella-diffusion.github.io/">ELLA</a> </p> </td> <td> <h2> EMMA </h2> <p> 论文：<a href="https://arxiv.org/abs/2406.09162">EMMA：您的文本到图像扩散模型可以秘密接受多模态提示</a></p> <p> 项目网站：<a href="https://tencentqqgylab.github.io/EMMA/">EMMA</a> </p> </td> </tr> </table>

ELLA：为扩散模型配备大语言模型以增强语义对齐

</div>

"ELLA：为扩散模型配备大语言模型以增强语义对齐"的官方代码。

🌟 更新日志

[2024.6.14] 🔥🔥 EMMA：技术报告，项目网站
[2024.5.13] EMMA即将推出。让我们先预览EMMA的结果：中文版，英文版
[2024.4.19] 我们提供了ELLA的ComfyUI插件：TencentQQGYLab/ComfyUI-ELLA
[2024.4.11] 添加了一些EMMA(高效多模态适配器)的结果
[2024.4.9] 🔥🔥🔥 发布ELLA-SD1.5检查点！欢迎尝试！
[2024.3.11] 🔥 发布DPG-Bench！欢迎尝试！
[2024.3.7] 初始更新

🚀 使用方法

下载

您可以从QQGYLab/ELLA下载ELLA模型。

快速查看

# 在 https://huggingface.co/QQGYLab/ELLA/blob/main/ella-sd1.5-tsc-t5xl.safetensors 获取ELLA-SD1.5

# 比较ella-sd1.5和sd1.5
# 将在`./assets/ella-inference-examples`生成图像
python3 inference.py test --save_folder ./assets/ella-inference-examples --ella_path /path/to/ella-sd1.5-tsc-t5xl.safetensors

构建一个用于比较SD1.5和ELLA-SD1.5的演示

GRADIO_SERVER_NAME=0.0.0.0 GRADIO_SERVER_PORT=8082 python3 ./inference.py demo /path/to/ella-sd1.5-tsc-t5xl.safetensors

在ComfyUI中使用ELLA

我们提供了ELLA的ComfyUI插件：TencentQQGYLab/ComfyUI-ELLA，支持ControlNet、img2img等功能。欢迎尝试使用。

感谢@ExponentialML和@kijai，他们为ELLA提供了第三方ComfyUI插件：

📙 注意事项

ELLA仍处于研究初期阶段，我们尚未对ELLA的所有潜在应用进行全面测试。我们欢迎社区提出建设性和友好的建议。

以下是我们目前发现的一些关于如何更好地利用ELLA的技巧：

1. 文本描述升级

ELLA是使用MLLM标注的合成文本描述进行训练的。正如Improving Image Generation with Better Captions中提到的，在使用ELLA之前对输入文本描述进行"升级"可以发挥其最大潜力。

我们发现利用大语言模型（LLM）的上下文学习（ICL）能力可以实现简单的文本描述升级器：

示例指令：

请根据给出的例子，生成短描述的长版本。长版本应包含3到5个句子。长版本必须指定所包含物体的颜色、形状、纹理或空间关系。请勿生成描述任何氛围的句子！

短描述：一只三色猫闭着眼睛栖息在一辆奔驰车上。
长描述：一只多彩的猫栖息在一辆闪亮的黑色汽车顶部。这辆车停在一栋木墙和绿色栅栏的建筑前。汽车光滑的表面反射出车身和周围环境的景象。

短描述：一个男孩坐在椅子上握着一个视频游戏遥控器。
长描述：一个年轻男孩坐在椅子上，穿着蓝色衬衫，戴着印有字母"m"的棒球帽。他脖子上挂着一枚红色奖牌，手里拿着一个白色游戏控制器。在他身后，有两个其他人，其中一个背着背包。男孩右边有一个蓝色垃圾桶，上面贴着"自动派对"的标志。

短描述：一个男人在水边钓鱼。
长描述：一幅宁静的水景，一个人穿着蓝色夹克和红色毛线帽，站在浅水中用长杆钓鱼。平静的水面上停泊着几艘帆船，远处可以看到山脉在多云的天空下若隐若现。

短描述：一个厨房，台面杂乱，有木制橱柜。
长描述：一个光线充足的厨房，配有木制橱柜、黑白相间的格子地板，以及一个冰箱，冰箱侧面装饰着花卉图案。厨房台面上摆放着各种物品，包括咖啡机、罐子和水果。

短描述：一只浣熊举着闪亮的红苹果

使用：https://huggingface.co/spaces/Qwen/Qwen-72B-Chat-Demo

我们得到：

一只顽皮的浣熊站立在后腿上，用毛茸茸的爪子高举着一个鲜艳的红苹果。苹果在茂密森林的背景下闪闪发光，树叶在微风中轻轻摇曳。浣熊脚下的地面上可以看到几块散落的石头，附近还有一棵扭曲的树干。

文本描述升级前后对比

原始提示词：一只浣熊举着闪亮的红苹果

SD1.5	ELLA-SD1.5_固定令牌长度	ELLA-SD1.5_灵活令牌长度

Qwen-72B优化后的文本描述：一只顽皮的浣熊站立在后腿上，用毛茸茸的爪子高举着一个鲜艳的红苹果。苹果在茂密森林的背景下闪闪发光，树叶在微风中轻轻摇曳。浣熊脚下的地面上可以看到几块散落的石头，附近还有一棵扭曲的树干。

SD1.5	ELLA-SD1.5_固定令牌长度	ELLA-SD1.5_灵活令牌长度

原始提示词：穿毛衣的鳄鱼

SD1.5	ELLA-SD1.5_固定令牌长度	ELLA-SD1.5_灵活令牌长度

GPT4优化后的文本描述：一只体型庞大、表面粗糙的绿色鳄鱼舒适地躺在一片草地上，身上穿着一件可爱的橙色针织毛衣，包裹着它布满鳞片的身体。毛衣的领口处有一个有趣的蓝色和黄色条纹图案。背景中，一块光滑的灰色岩石部分遮挡了一个小池塘的景象，池塘表面漂浮着睡莲叶。

SD1.5	ELLA-SD1.5_固定令牌长度	ELLA-SD1.5_灵活令牌长度

2. 灵活的token长度

在ELLA的训练过程中，使用了长度为128个token的长合成描述。在使用短描述测试ELLA时，除了前面提到的描述上采样技术外，还可以使用"灵活token长度"技巧。这涉及将分词器的max_length设置为None，从而消除任何文本token的填充或截断。我们观察到，这个技巧可以帮助提高与短描述相对应的生成图像的质量。

3. ELLA+CLIP用于社区模型

我们的测试表明，一些严重依赖触发词的社区模型在使用ELLA时可能会出现明显的风格损失，主要是因为在ELLA推理过程中完全没有使用CLIP。

尽管在训练过程中没有使用CLIP，但我们发现在推理过程中仍然可以将ELLA的输入与CLIP的输出连接起来（Bx77x768 + Bx64x768 -> Bx141x768）作为UNet的条件。我们预计将ELLA与CLIP结合使用将更好地融入现有的社区生态系统，特别是对于文本反转和触发词等特定于CLIP的技术。

我们的目标是确保与更广泛的社区模型兼容；然而，我们目前还没有一套全面的经验可以分享。如果您有任何建议，我们将非常感谢您能在问题中分享。

4. FlanT5必须在fp16模式下运行

如issues#23中所述，我们在V100上进行了绝大多数实验，它不支持bf16，所以我们不得不使用fp16 T5进行训练。我们测试发现，fp16 T5和bf16 T5的输出差异不可忽视，导致生成的图像存在明显差异。因此，建议在推理时使用fp16 T5。

📊 DPG-Bench

DPG-Bench的指南：

根据我们的提示生成您的图像。

建议每个提示生成4张图像，并将它们网格化为2x2格式。请确保您生成的图像文件名与提示文件名相同。

运行以下命令进行评估。

bash dpg_bench/dist_eval.sh $YOUR_IMAGE_PATH $RESOLUTION

衷心感谢DSG的出色工作，我们遵循他们的指示生成DPG-Bench的问题和答案。

🚧 EMMA - 高效多模态适配器（进行中）

如ELLA论文的结论部分和issue#15中所述，我们计划研究将MLLM与扩散模型集成，使得能够将交错的图像-文本输入作为图像生成过程中的条件组件。这里是EMMA-SD1.5的一些非常早期的结果，敬请期待。

<table> <thead> <tr> <th>提示词</th> <th>原始图像</th> <th>结果</th> </tr> </thead> <tbody> <tr> <td>一位女性穿着鲜橙色滑雪服和护目镜，在雪山上滑雪。</td> <td rowspan="3"><img src="https://yellow-cdn.veclightyear.com/835a84d5/0fd91af8-885a-4785-a886-5d2a54f48000.jpg" width="100%"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/9541a455-9ca3-444d-a2b2-66944a5b0fea.jpg" width="100%"></td> </tr> <tr> <td>一位女性穿着无袖球衣在户外球场打篮球。</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/eb6968be-2ee0-429d-beb8-9e51d40a9201.jpg" width="100%"></td> </tr> <tr> <td>一位女性穿着绿色迷彩夹克，背着背包在茂密的森林中徒步。</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/c202c8ab-04a3-45c9-9f28-759ddb605811.jpg" width="100%"></td> </tr> <tr> <td>一只狗在雪天跳过一辆车</td> <td rowspan="2"><img src="https://yellow-cdn.veclightyear.com/835a84d5/744d6a47-86f2-479b-b224-bc852966c85c.jpg" width="100%"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/1c8bc105-01e3-4a58-9e25-ad92ed342270.jpg" width="100%"></td> </tr> <tr> <td>一只戴着粉色眼镜的狗正在读书</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/3baf79ba-ed7a-4f0c-b3a3-4d3469230d13.jpg" width="100%"></td> </tr> <tr> <td>一只狗站在山顶，眺望着令人惊叹的景色。远处是白雪皑皑的山峰，一条河流蜿蜒穿过山谷。</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/937bf34b-dcd1-45b1-94f5-82749901ada0.jpg" width="100%"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/240725e6-e28d-4e56-8f74-1921cebbe627.jpg" width="100%"></td> </tr> </tbody> </table>

📝 待办事项

发布检查点
发布推理代码
发布DPG-Bench

💡 其他

我们还发现了LaVi-Bridge，这是另一项几乎同时完成的独立但相似的工作，它提供了ELLA未涵盖的额外见解。ELLA和LaVi-Bridge之间的区别可以在issue 13中找到。我们很高兴欢迎其他研究人员和社区用户推动这一领域的发展。

😉 引用

如果您发现ELLA对您的研究和应用有用，请使用以下BibTeX引用我们：

@misc{hu2024ella,
      title={ELLA: Equip Diffusion Models with LLM for Enhanced Semantic Alignment}, 
      author={Xiwei Hu and Rui Wang and Yixiao Fang and Bin Fu and Pei Cheng and Gang Yu},
      year={2024},
      eprint={2403.05135},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}