Awesome Chinese Stable Diffusion 中文文生图模型综述

引言

近年来,随着人工智能技术的快速发展,文本生成图像(Text-to-Image)技术取得了突破性进展。其中,基于Stable Diffusion的文生图模型以其出色的生成效果和灵活性备受关注。然而,大多数主流模型主要针对英文进行优化,对中文的支持相对有限。为了满足中文用户的需求,众多研究机构和开发者开始着手开发专门面向中文的文生图模型。本文将对目前主流的中文文生图模型进行全面介绍和分析。

开源中文文生图模型

SkyPaint

SkyPaint是一个基于Stable Diffusion的中文文生图模型,由SkyWork AIGC团队开发。该模型主要由两部分组成:

1. 提示词文本编码器:基于OpenAI CLIP优化,使模型具备中英文识别能力。
2. 扩散模型:经过优化,使模型能够生成高质量的现代艺术风格图像。

SkyPaint的优化过程分为两个步骤:首先优化提示词文本编码器,然后优化扩散模型。这种方法使得SkyPaint在保留原有生成能力的同时,显著提升了对中文概念的理解和表达。

Pai-Diffusion

Pai-Diffusion是由阿里云机器学习(PAI)团队开发的中文文生图模型系列。该系列模型不仅适用于通用场景,还包含多个针对特定领域的定制化模型,如古诗配图、二次元动漫和魔幻现实等。

Pai-Diffusion的模型架构包括:

• 中文CLIP模型
• Diffusion模型
• 图像超分模型

开发团队强调,直接使用机器翻译的英文数据进行中文模型训练往往效果不佳,因为中英文在文化和表达方式上存在显著差异。因此,Pai-Diffusion系列模型采用了更适合中文特性的训练方法和数据集。

通义系列模型

达摩院开发的通义系列包含多个中文文生图模型,其中较为突出的有:

1. 中文StableDiffusion-通用领域:

   • 基于Stable Diffusion 2.1模型框架
   • 将英文CLIP文本编码器替换为中文CLIP文本编码器
   • 使用大规模中文图文对数据进行训练
   • 训练数据包括翻译的公开数据集和互联网搜集数据,经过严格筛选

2. 文本到图像生成扩散模型-中英文-通用领域-tiny:

   • 文本特征提取网络采用StructBert结构
   • 扩散去噪模型采用UNet结构
   • 支持64x64分辨率图像生成

3. 通义-文本生成图像大模型-中英文-通用领域:

   • 基于多阶段文本到图像生成扩散模型
   • 支持中英双语输入
   • 模型参数约50亿
   • 采用知识重组与可变维度扩散模型技术
   • 支持多分辨率生成,最高可达1024x1024

这些模型在架构设计和训练数据选择上都针对中文特点进行了优化,展现了出色的中文文生图能力。

Taiyi系列

Taiyi系列是由IDEA研究院开发的中文文生图模型,包括Taiyi-CLIP、Taiyi-Stable-Diffusion和最新的Taiyi-Stable-Diffusion-XL。

Taiyi-CLIP:

• 使用中文RoBERTa作为语言编码器
• 使用ViT-L-14作为视觉编码器
• 在悟空数据集(100M)和Zero数据集(23M)上进行预训练

Taiyi-Stable-Diffusion:

• 基于stable-diffusion-v1-4
• 使用Taiyi-CLIP作为文本编码器
• 仅训练文本编码器部分,保留原始模型的生成能力

Taiyi-Stable-Diffusion-XL:

• 基于Stable-Diffusion-XL
• 采用三阶段训练方法:高质量图文对数据集制作、双语CLIP模型训练、扩散模型训练
• 在COCO和COCO-CN数据集上的评估显示出优异的双语能力

Taiyi系列模型展现了从基础组件到完整系统的逐步演进,每一代都有显著的性能提升。

AltDiffusion

AltDiffusion是由智源研究院开发的中文文生图模型,包括AltCLIP和AltStableDiffusion两个主要组件。

AltCLIP:

• 基于OpenAI CLIP训练
• 使用悟道数据集和LAION数据集
• 采用两阶段训练:平行知识蒸馏和双语对比学习

AltStableDiffusion:

• 基于stable-diffusion v1-4
• 使用AltCLIP或AltCLIPM9作为文本编码器
• 在微调过程中冻结大部分参数,仅训练关键层

AltDiffusion的特点在于充分利用了大规模中文数据集和先进的训练技术,使模型在中英文生成任务上都表现出色。

VisCPM-Paint

VisCPM-Paint是由清华大学开发的支持中英双语的文生图模型。其主要特点包括:

• 使用CPM-Bee(10B)作为文本编码器
• 使用UNet作为图像解码器
• 通过扩散模型训练目标融合语言和视觉模型
• 在LAION 2B英文图文对数据上进行训练
• 通过加入中文图文对数据进一步提升中文能力

该模型展现了良好的双语能力,特别是在中文生成方面达到了开源模型的最佳效果。

WuKong-HuaHua

WuKong-HuaHua(悟空画画)是由华为诺亚团队与中软国际合作开发的中文文生图模型。该模型基于当时最大的中文开源多模态数据集"悟空数据集"进行训练,具有以下特点:

• 基于MindSpore框架和昇腾硬件实现
• 2.0版本支持768x768高分辨率输出
• 采用自研Multistep-SDE采样加速技术
• 使用RLAIF算法提升画质和艺术性表达

WuKong-HuaHua的训练过程包括:

1. 预训练中文图文判别模型
2. 结合Stable Diffusion和预训练文本编码器在悟空数据集上训练

该模型展现了华为在大模型领域的技术实力,特别是在中文文生图方面的创新。

PanGu-Draw

PanGu-Draw是由华为开发的大规模中文文生图模型,其最新版本v3具有以下特点:

• 参数量从1B扩大到5B,是目前业界最大的中文文生图模型
• 支持中英文双语输入
• 支持原生1K分辨率输出
• 支持多种宽高比例输出
• 提供可量化的风格化调整功能
• 基于昇腾硬件和昇思平台进行训练和推理
• 采用自研RLAIF技术提升画质

PanGu-Draw展示了华为在大模型领域的持续创新,特别是在模型规模和生成质量方面都达到了新的高度。

MiaoBi

MiaoBi(妙笔)是一个兼容性较强的中文文生图模型,其主要特点包括:

• 与stable-diffusion 1.5版本结构一致
• 兼容现有的lora、controlnet、T2I-Adapter等插件及权重
• 训练数据包括Laion-5B中文子集、翻译的Midjourney数据等
• 在8张4090显卡上完成训练

虽然MiaoBi在一些特定领域(如成语、古诗词、中国地标建筑)的表现可能存在不足,但其良好的兼容性使其成为一个值得关注的中文文生图模型。

闭源中文文生图模型

除了上述开源模型,还有一些闭源的中文文生图模型值得关注:

1. 百度文心一格
2. 阿里通义万相
3. 腾讯混元DiT
4. MidjourneyZH

这些模型虽然未开源,但在实际应用中展现出了强大的中文文生图能力,为用户提供了丰富的创作选择。

总结与展望

中文文生图技术在近年来取得了长足的进步。从最初简单的翻译适配,到如今专门针对中文特点设计的大规模模型,我们看到了技术的迅速演进。这些模型不仅在生成质量上不断提升,还在特定领域和风格化方面展现出了独特优势。

未来,中文文生图技术可能会在以下几个方向继续发展:

1. 模型规模进一步扩大,以提升生成质量和多样性
2. 更深入地结合中国文化元素,提升对传统艺术风格的表现力
3. 增强模型的可控性和可解释性,使用户能更精确地控制生成结果
4. 探索多模态融合,实现文本、图像、音频等多种形式的协同创作
5. 加强模型的伦理性和安全性,确保生成内容符合社会道德规范

随着技术的不断进步和应用范围的扩大,中文文生图模型将为创意产业、教育、设计等多个领域带来革命性的变化。我们期待看到更多优秀的中文文生图模型涌现,为用户提供更加丰富、精准和个性化的创作体验。

参考资源

1. Awesome-Chinese-Stable-Diffusion GitHub仓库
2. SkyPaint-AI-Diffusion GitHub仓库
3. 阿里云PAI-Diffusion官方文档
4. 通义系列模型在ModelScope上的项目页面
5. Taiyi系列模型GitHub仓库
6. AltDiffusion项目页面
7. VisCPM-Paint GitHub仓库
8. WuKong-HuaHua GitHub仓库
9. PanGu-Draw官方介绍页面
10. MiaoBi GitHub仓库

通过深入了解这些中文文生图模型,我们不仅可以欣赏到人工智能在创意领域的巨大潜力,还能洞察技术发展的趋势。无论是研究人员、开发者还是普通用户,都可以在这个快速发展的领域中找到自己的机会和乐趣。让我们共同期待中文文生图技术的更多突破和应用!