PaddleMIX

简介

PaddleMIX是基于飞桨的多模态大模型开发套件，整合了图像、文本、视频等多种模态，涵盖视觉语言预训练、文生图、文生视频等丰富的多模态任务。它提供开箱即用的开发体验，同时满足开发者灵活定制的需求，探索通用人工智能。

主要特性

丰富的多模态功能: 覆盖图文预训练、文生图、跨模态视觉任务，实现图像编辑、图像描述、数据标注等多样功能
简洁的开发体验: 模型统一开发接口，高效实现自定义模型开发和功能实现
高效的训练推理流程: 全量模型打通训练推理一站式开发流程，BLIP-2、Stable Diffusion等重点模型训练推理性能业界领先
超大规模训练支持: 可训练千亿规模图文预训练模型，百亿规模文生图底座模型

任务展示

视频演示（video Demo）

https://github.com/PaddlePaddle/PaddleMIX/assets/29787866/8d32722a-e307-46cb-a8c0-be8acd93d2c8

安装

环境依赖

pip install -r requirements.txt

关于PaddlePaddle安装的详细教程请查看安装指南。

注：ppdiffusers部分模型需要依赖 CUDA 11.2 及以上版本，如果本地机器不符合要求，建议前往 AI Studio 进行模型训练、推理任务。

如果希望使用bf16训练推理，请使用支持bf16的GPU，如A100。

手动安装

git clone https://github.com/PaddlePaddle/PaddleMIX
cd PaddleMIX
pip install -e .

#ppdiffusers 安装
cd ppdiffusers
pip install -e .

教程

特色应用

ComfyUI创作工作流

<div align="center"> <img src="https://github.com/PaddlePaddle/PaddleMIX/assets/35400185/36ba7261-1744-41a4-b1cb-c9e99f6931f2" height = "300",caption='' /> <p>体验专区: https://aistudio.baidu.com/community/app/106043</p> </div>

艺术风格二维码模型

<div align="center"> <img src="https://github.com/PaddlePaddle/Paddle/assets/22989727/ba091291-a1ee-49dc-a1af-fc501c62bfc8" height = "300",caption='' /> <p>体验专区: https://aistudio.baidu.com/community/app/1339</p> </div>

Mix叠图

<div align="center"> <img src="https://github.com/PaddlePaddle/Paddle/assets/22989727/a71be5a0-b0f3-4aa8-bc20-740ea8ae6785" height = "300",caption='' /> <p>体验专区：https://aistudio.baidu.com/community/app/1340</p> </div>

模型库

<table align="center"> <tbody> <tr align="center" valign="center"> <td> <b>多模态预训练</b> </td> <td> <b>扩散类模型</b> </td> </tr> <tr valign="top"> <td> <ul> </ul> <li><b>图文预训练</b></li> <ul> <li><a href="paddlemix/examples/evaclip">EVA-CLIP</a></li> <li><a href="paddlemix/examples/coca">CoCa</a></li> <li><a href="paddlemix/examples/clip">CLIP</a></li> <li><a href="paddlemix/examples/blip2">BLIP-2</a></li> <li><a href="paddlemix/examples/minigpt4">miniGPT-4</a></li> <li><a href="paddlemix/examples/visualglm">VIsualGLM</a></li> <li><a href="paddlemix/examples/qwen_vl">Qwen_VL</a></li> <li><a href="paddlemix/examples/llava">LLaVA</a></li> <li><a href="paddlemix/examples/cogvlm">CogVLM && CogAgent</a></li> <li><a href="paddlemix/examples/internlm_xcomposer2">InternLM-XComposer2</a></li> </ul> </ul> <li><b>开放世界视觉模型</b></li> <ul> <li><a href="paddlemix/examples/groundingdino">Grounding DINO</a></li> <li><a href="paddlemix/examples/sam">SAM</a></li> <li><a href="paddlemix/examples/YOLO-World">YOLO-World</a></li> </ul> </ul> <li><b>更多模态预训练模型</b></li> <ul> <li><a href="paddlemix/examples/imagebind">ImageBind</a></li> </ul> </td> <td> <ul> </ul> <li><b>文生图</b></li> <ul> <li><a href="ppdiffusers/examples/stable_diffusion">Stable Diffusion</a></li> <li><a href="ppdiffusers/examples/controlnet">ControlNet</a></li> <li><a href="ppdiffusers/examples/t2i-adapter">T2I-Adapter</a></li> <li><a href="ppdiffusers/examples/text_to_image_laion400m">LDM</a></li> <li><a href="ppdiffusers/ppdiffusers/pipelines/unidiffuser">Unidiffuser</a></li> <li><a href="ppdiffusers/examples/class_conditional_image_generation/DiT">DiT</a></li> <li><a href="ppdiffusers/examples/HunyuanDiT">HunyuanDiT</a></li> </ul> </ul> <li><b>文生视频</b></li> <ul> <li><a href="ppdiffusers/examples/lvdm">LVDM</a></li> <li><a href="ppdiffusers/examples/stable_video_diffusion">SVD</a></li> <li><a href="ppdiffusers/examples/AnimateAnyone">AnimateAnyone</a></li> <li><a href="ppdiffusers/examples/Open-Sora">OpenSora</a></li> </ul> </ul> <li><b>音频生成</b></li> <ul> <li><a href="ppdiffusers/ppdiffusers/pipelines/audioldm">AudioLDM</a></li> <li><a href="ppdiffusers/ppdiffusers/pipelines/audioldm2">AudioLDM2</a></li> </ul> </td> </tr> </tbody> </table>

更多模型能力，可参考模型能力矩阵

社区交流

Scan the QR code with WeChat and fill out the questionnaire to join the communication group for in-depth discussions with numerous community developers and the official team.