SkyPaint-AI-Diffusion

SkyPaint-AI-Diffusion 项目介绍

SkyPaint 是由奇点智源开发的一种中英双语文本生成图像的项目。它旨在通过输入中文或英文文本，生成具有现代艺术风格的高质量图像。即使是普通用户，也可以通过这个项目创作出如同人类画家所创作的艺术作品。

项目背景

现代社会中，人们对于艺术的欣赏和创作需求愈发增强。SkyPaint 项目正是为了满足这种需求而诞生，它打破了语言的限制，通过人工智能实现文本到图像的转化，使得艺术创作更加便捷和个性化。目前，这个项目还在不断更新和优化，以提升其性能和用户体验。

功能特点

• 多语言支持：用户可以使用中文、英文或者中英文混合的方式输入提示词，系统能够识别并生成对应的图像。这让非英语用户也可以轻松体验到 AI 创作的魅力。

• 艺术风格生成：模型经过专门调整，能够生成具有现代艺术风格的高质量图像，满足用户对于视觉美感的高要求。

• 兼容性：支持 stable_diffusion_1.x 官方模型及相关微调模型，保留了 stable_diffusion 的提示词使用习惯和方法，用户无需额外学习即可上手使用。

使用体验

用户可以通过访问天工巧绘SkyPaint 的官网或者通过微信小程序进行试用。通过直观的操作界面，用户只需输入想象中的画面描述，即可获得对应的艺术作品。

技术优势

SkyPaint 的文本生成图像模型主要包括提示词文本编码器模型和扩散模型两部分。项目对这些模型进行了一系列的优化：

1. 提示词文本编码器模型：基于 OpenAI-CLIP 模型进行优化，赋予了 SkyPaint 中英双语识别能力。
2. 扩散模型：通过优化，使得 SkyPaint 能够生成高质量的现代艺术风格图像。

SkyCLIP 模型

SkyCLIP 是该项目的一部分。它是一种高效的中英双语 CLIP 模型，基于 OpenAI-CLIP 进行蒸馏，显著降低了数据门槛和计算要求。

• 训练数据：涉及多种中英文语料，包括机器翻译任务平行语料、联合国中英文语料、以及其他公开数据集等。
• 训练方法：采用多语言 BERT 模型作为学生模型，通过翻译任务辅助实现中文和英文的对齐。
• 评估表现：在多个中文相关开源模型中，SkyCLIP 的表现优异，特别是在文本到图像和图像到文本的检索任务中表现突出。

扩散模型

SkyPaint 的扩散模型使用了经过筛选的 Laion 数据集进行训练，并加上 'sai-v1 art' 标签，使其学习符合用户期望的风格与质量。基于 stable-diffusion-v1-5 预训练模型，利用多块 A100 显卡进行了长时间训练，模型仍在不断优化中。

参与与支持

SkyPaint 项目欢迎更多的开发者加入并贡献。在项目主页，用户可以找到相关的开发者社群渠道，与其他爱好者和开发者分享经验和创意。

SkyPaint 将艺术创作平民化，让每个人都能享受 AI 带来的创新和便捷。项目处于持续更新状态，期待通过不断的优化，提升为用户提供的创作体验。