mmagic

项目简介

MMagic，全称为多模态高级生成智能创作工具箱，这是一款来自OpenMMLab的开源工具箱，它综合了图像和视频的生成与编辑。MMagic继承了先前的MMEditing和MMGeneration的优秀成果，基于PyTorch构建，为用户提供了面向未来的生成AI功能，适用于各类研究人员和爱好者开展AIGC（生成式人工智能内容）探险。

主要功能

先进的生成模型

MMagic提供了最先进的生成模型，旨在处理、编辑并合成图像和视频。这些模型具备多种任务的支持，包括：

文本转图像：通过生成和控制网络，如Stable Diffusion、ControlNet等，将文本描述转换为图片。
图像和视频恢复：提供如NAFNet、Restormer等用于图像质量恢复。
图像着色：包括图像自动着色技术，如InstColorization。
3D感知生成：支持EG3D等3D生成任务。

强大而流行的应用

MMagic支持当前流行的图像恢复、文本到图像的转换、3D生成、修复、抠图、高分辨率生成等任务，特别是在稳定扩散的微调和多种炫酷应用的实现方面表现出色。同时，MMagic也支持GAN（生成对抗网络）的多重应用，例如GAN插值、投影、操作等。

高效的框架设计

借助OpenMMLab 2.0框架的MMEngine和MMCV，MMagic将编辑框架分解为不同模块，使用户可以通过组合这些模块轻松构建自定义的编辑器框架。通过丰富的组件和策略，用户可以像玩积木一样定义训练过程，并支持不同级别的API控制训练进程。分布式训练也变得更为简单和灵活。

贡献与社区

MMagic受益于社区多个开发者的贡献，其中包括最近由社区贡献的多个新项目。项目持续开放，欢迎更多的开发者加入，提出问题并撰写代码使其变得更好。如果您希望参与贡献，可以查看相关的指导文件。

安装指南

MMagic依赖于PyTorch、MMEngine和MMCV。以下是快速安装步骤：

安装PyTorch：遵循其官方指南。

安装MMagic及其依赖：

pip3 install openmim
mim install mmcv>=2.0.0
mim install mmengine
mim install mmagic

验证安装：

cd ~
python -c "import mmagic; print(mmagic.__version__)"
# 预计输出示例: 1.0.0

安装完成后，用户即可开始使用MMagic。通过简单的几行代码即可实现从文本生成图像，如语句"一只熊猫在肯德基吃晚餐"等。

支持的模型及算法

MMagic包含大量支持的模型和算法类别，包括条件GANs、无条件GANs、图像恢复、超分辨率技术、视频超分辨率、视频插值、图像着色、图像翻译、修复、抠图、文本到图像（视频）、3D感知生成等。

致谢与贡献者

MMagic作为一个开源项目，受到众多高校和公司研究人员及工程师的贡献。项目的成功离不开所有贡献者的努力和用户的宝贵反馈。我们对所有方法实现作者、功能添加者以及各类反馈者表示感谢。

引用说明

如果您在研究中使用了MMagic，请引用我们的项目：

@misc{mmagic2023,
    title = {{MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox},
    author = {{MMagic Contributors}},
    howpublished = {\url{https://github.com/open-mmlab/mmagic}},
    year = {2023}
}