MindONE

本仓库包含多模态理解和内容生成领域的最先进算法、模型和有趣项目

ONE 是 "ONE for all" 的缩写

新闻

来自 Stable Diffusion 3 的 Hello MindSpore！

mindone/diffusers 现在支持 Stable Diffusion 3。快来试试吧！

import mindspore
from mindone.diffusers import StableDiffusion3Pipeline

pipe = StableDiffusion3Pipeline.from_pretrained(
    "stabilityai/stable-diffusion-3-medium-diffusers",
    mindspore_dtype=mindspore.float16,
)
prompt = "A cat holding a sign that says 'Hello MindSpore'"
image = pipe(prompt)[0][0]
image.save("sd3.png")

mindone/examples 下支持的模型

模型	特性
cambrian	正在开发中
minicpm-v	正在开发 v2.6
internvl	正在开发 v1.0 v1.5 v2.0
llava	正在开发 llava 1.5 & 1.6
vila	正在开发中
pllava	正在开发中
hpcai open sora	支持 v1.0/1.1/1.2 大规模训练，包括数据并行/模型并行/零冗余优化
open sora plan	支持 v1.0/1.1/1.2 大规模训练，包括数据并行/模型并行/零冗余优化
stable diffusion	支持 sd 1.5/2.0/2.1，原始微调、LoRA、DreamBooth、文本反转
stable diffusion xl	支持 sai 风格（Stability AI）原始微调、LoRA、DreamBooth
dit	支持文本到图像微调
latte	支持无条件文本到图像微调
animate diff	支持运动模块和 LoRA 训练
video composer	支持带有运动转移等的条件视频生成
ip adapter	正在重构
t2i-adapter	正在重构

在 MindSpore 上运行 HuggingFace Diffusers

mindone diffusers 正在积极开发中，大多数任务已在 MindSpore 2.2.10 和昇腾 910 硬件上测试。

组件	特性
pipeline	支持 30 多种文本到图像、文本到视频、文本到音频任务
models	支持与 HuggingFace Diffusers 相同的自动编码器和 Transformer 基础模型
schedulers	支持与 HuggingFace Diffusers 相同的 10 多种 DDPM 和 DPM 求解器调度器