zero123

Zero123 项目介绍

Zero123 项目是一项由哥伦比亚大学与丰田研究院联合开发的创新技术，致力于将单张图像转换为3D对象。该项目通过零次学习技术，使计算机能够在没有大量训练数据的情况下，从一个二维图像生成逼真的三维模型。

项目的主要功能

Zero123的核心功能包括新视图合成和3D重建。通过这些技术，用户可以实现从单张图像到多视角的3D物体重现。

新视图合成

新视图合成是Zero123的一个重要特性，它能够根据给定的图像生成新的视角。这一过程不需要用户提供其他的视角数据，从而大幅度简化了3D模型的生成流程。

3D重建

3D重建功能使用户可以从单个图像生成完整的三维对象。通过这种方式，用户能够重现复杂的3D形状和纹理，提升了模型的现实感和精确度。

项目的技术进展

Zero123项目在不断进步，推出了一系列新功能和优化：

• 推出了Zero123-XL和Objaverse-XL版本，进一步提高了图像到三维结果的质量。
• ThreeStudio项目中的图像到3D方面也使用了Zero123的大量技术成果。
• 稳定Dreamfusion项目将Zero123与Instant-NGP和SDS损失结合，用于3D重建。
• 该项目优化了代码库，提升了在RTX 3090/4090(Ti)显卡上的运行性能。

使用方法

用户可以按照以下步骤设置和使用Zero123：

环境配置

用户需要先配置Python环境，并安装必要的库。

下载权重文件

从预设的下载地址获取训练好的模型权重。

运行演示

使用Gradio工具运行新视图合成的演示。

训练模型

为更高的定制化，用户可以根据自己的需求调整训练脚本，进行模型再训练。

数据集

Zero123使用Objaverse数据集进行训练，用户可以下载并使用这些数据进行实验和验证。

对Janus问题的讨论

Zero123的方法设计中，通过大量高质量的合成数据集以及精心设计的视角模型，显著减轻了Janus问题（即图像模型在视角变化下的错误和偏见）。模型通过在不同视角进行微调，以确保在视角变化后的连贯性和准确性。

鸣谢

该项目在许多实现上基于Stable Diffusion、Objaverse和SJC，并得到了丰田研究院、美国国防高级研究计划局（DARPA）和国家科学基金会（NSF）的部分支持。

通过Zero123项目，单图像3D对象生成技术得到了显著的提升，为进一步的3D内容创作铺平了道路。