Zero123++：单张图像生成一致多视图扩散基础模型

[报告] [官方演示] [yvrjsharma的演示] [Google Colab] [Replicate 演示]

更新 v1.2

我们非常高兴发布 Zero123++ v1.2！主要变化如下：

相机内参处理得更加细致。v1.2 模型对更宽范围的输入视场、更大的裁剪量更加稳健，并统一输出视场为 30° ，以更好地反映真实近景视图。
固定仰角集从 30° 和 -20° 更改为 20° 和 -10°。
与新视角合成不同，模型更关注 3D 生成。模型假定一个标准化对象大小输出一组视图，而不是相对于输入改变。

此外，我们还有一个可以生成视图空间法线图像的 法线生成器 ControlNet。输出还可以用来获得比基于 SAM 的方法更准确的掩码。在我们来自 Objaverse 的验证集上的验证指标：alpha（抠图前）IoU 98.81%，平均法线角度误差 10.75°，法线 PSNR 26.93 dB。

使用方法

v1.2 基础模型的使用方法不变。请参见以下部分了解具体用法。

法线生成器的使用方法： 请参见 examples/normal_gen.py。

关于从法线图像生成 alpha 掩码，请参见 examples/matting_postprocess.py 和 examples/normal_gen.py。

许可证

代码以 Apache 2.0 发布，模型权重以 CC-BY-NC 4.0 发布。

这意味着你不能在商业产品管道中使用模型（或其衍生物），但你仍可以自由使用模型的输出。而且，你对生成的输出及其后续使用负责。

开始

你将需要 torch（推荐 2.0 或更高版本）、diffusers（推荐 0.20.2）和 transformers 才能开始。如果你使用的是 torch 1.x，建议安装 xformers 以高效计算模型中的注意力。代码也可以在较旧版本的 diffusers 上运行，但你可能会看到模型性能的下降。

一切准备就绪！我们为 diffusers 提供了自定义管道，因此不需要额外的代码。

要从单张输入图像生成多视图图像，你可以运行以下代码（另请参见 examples/img_to_mv.py）：

import torch
import requests
from PIL import Image
from diffusers import DiffusionPipeline, EulerAncestralDiscreteScheduler

# 加载管道
pipeline = DiffusionPipeline.from_pretrained(
    "sudo-ai/zero123plus-v1.1", custom_pipeline="sudo-ai/zero123plus-pipeline",
    torch_dtype=torch.float16
)

# 随意调整调度器!
# `timestep_spacing` 参数在较旧版本的 `diffusers` 中不支持，因此可能会出现性能下降
# 我们建议使用 `diffusers==0.20.2`
pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(
    pipeline.scheduler.config, timestep_spacing='trailing'
)
pipeline.to('cuda:0')

# 下载示例图片。
cond = Image.open(requests.get("https://d.skis.ltd/nrp/sample-data/lysol.png", stream=True).raw)

# 运行管道！
result = pipeline(cond, num_inference_steps=75).images[0]
# 对于一般的真实和合成物体图像
# 通常28步就足够
# 对于带有细节的图像如人脸（真实或动漫）
# 你可能需要75-100步来构建细节

result.show()
result.save("output.png")

上述示例需要约5GB的VRAM运行。输入图像需要是正方形，推荐图像分辨率为 >=320x320。

默认情况下，Zero123++ 生成带有灰色背景的不透明图像（Stable Diffusion VAE 的 zero）。你可以运行额外的背景去除步骤，如 rembg 来去除灰色背景。

# !pip install rembg
import rembg
result = rembg.remove(result)
result.show()

要运行深度 ControlNet，可以使用以下示例（另请参见 examples/depth_controlnet.py）：

import torch
import requests
from PIL import Image
from diffusers import DiffusionPipeline, EulerAncestralDiscreteScheduler, ControlNetModel

# 加载管道
pipeline = DiffusionPipeline.from_pretrained(
    "sudo-ai/zero123plus-v1.1", custom_pipeline="sudo-ai/zero123plus-pipeline",
    torch_dtype=torch.float16
)
pipeline.add_controlnet(ControlNetModel.from_pretrained(
    "sudo-ai/controlnet-zp11-depth-v1", torch_dtype=torch.float16
), conditioning_scale=0.75)
# 随意调整调度器
pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(
    pipeline.scheduler.config, timestep_spacing='trailing'
)
pipeline.to('cuda:0')
# 运行管道
cond = Image.open(requests.get("https://d.skis.ltd/nrp/sample-data/0_cond.png", stream=True).raw)
depth = Image.open(requests.get("https://d.skis.ltd/nrp/sample-data/0_depth.png", stream=True).raw)
result = pipeline(cond, depth_image=depth, num_inference_steps=36).images[0]
result.show()
result.save("output.png")

该示例运行需要约5.7GB的VRAM。

模型

模型可在 https://huggingface.co/sudo-ai 上获得：

sudo-ai/zero123plus-v1.1，基础 Zero123++ 模型发布（v1.1）。
sudo-ai/controlnet-zp11-depth-v1，Zero123++（v1.1）的深度 ControlNet 检查点发布（v1）。
sudo-ai/zero123plus-v1.2，基础 Zero123++ 模型发布（v1.2）。
sudo-ai/controlnet-zp12-normal-gen-v1，Zero123++（v1.2）的法线生成 ControlNet 检查点发布（v1）。

用于 diffusers 自定义管道的源代码可在 diffusers-support 目录中找到。

相机参数

输出视图是固定的一组相机姿势：

方位角（相对于输入视角）：30, 90, 150, 210, 270, 330。
v1.1 仰角（绝对值）：30, -20, 30, -20, 30, -20。
v1.2 仰角（绝对值）：20, -10, 20, -10, 20, -10。
v1.2 视场（绝对值）：30°。

本地运行演示

你需要安装额外的依赖项：

pip install -r requirements.txt

然后运行 streamlit run app.py。

对于 Gradio 演示，你可以运行 python gradio_app.py。

引用

如果你认为 Zero123++ 有帮助，请引用我们的报告：

@misc{shi2023zero123plus,
      title={Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model}, 
      author={Ruoxi Shi and Hansheng Chen and Zhuoyang Zhang and Minghua Liu and Chao Xu and Xinyue Wei and Linghao Chen and Chong Zeng and Hao Su},
      year={2023},
      eprint={2310.15110},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}