Unique3D

Unique3D: 从单张图像生成高质量、高效3D网格的官方实现。

Kailu Wu，Fangfu Liu，Zhihan Cai，Runjie Yan，Hanyang Wang，Yating Hu，Yueqi Duan，Kaisheng Ma

论文 | 项目页面 | Huggingface演示 | Gradio演示 | 在线演示

演示推理速度：Gradio演示 > Huggingface演示 > Huggingface演示2 > 在线演示

如果Gradio演示过载或者无法生成稳定的结果，可以使用在线演示 aiuni.ai，这是免费的（获取注册邀请码加入Discord：https://discord.gg/aiuni）。不过在线演示与Gradio演示稍有不同，推理速度较慢，但生成结果更稳定。

Unique3D在30秒内从单视角的野外图像生成高保真、多样化的纹理网格。

推理准备

详细的Linux安装指南。

Linux系统设置

适用于Ubuntu 22.04.4 LTS和CUDA 12.1。

conda create -n unique3d python=3.11
conda activate unique3d

pip install ninja
pip install diffusers==0.27.2

pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu121/torch2.3.1/index.html

pip install -r requirements.txt

oak-barry 提供了另一种torch210+cu121的设置脚本在这里。

Windows设置

非常感谢 jtydhr88 提供的Windows安装方法！参见 issues/15。

根据 issues/15，实现了一个批处理脚本来运行命令，因此您可以：

可能仍需要Visual Studio Build Tools，可以从Visual Studio Build Tools下载。
创建conda环境并激活
1. conda create -n unique3d-py311 python=3.11
2. conda activate unique3d-py311
下载适用于py311的triton whl，并放入该项目中。
运行 install_windows_win_py311_cu121.bat
在提示您卸载onnxruntime和onnxruntime-gpu时回答y
在驱动器根目录下创建输出文件夹 tmp\gradio，例如我的路径是F:\tmp\gradio。
运行 python app/gradio_local.py --port 7860

更多细节请参见 issues/15。

交互式推理：运行本地Gradio演示

从huggingface spaces或清华云盘下载权重，并解压到 ckpt/*。

Unique3D
    ├──ckpt
        ├── controlnet-tile/
        ├── image2normal/
        ├── img2mvimg/
        ├── realesrgan-x4.onnx
        └── v1-inference.yaml

本地运行交互式推理。

python app/gradio_local.py --port 7860

ComfyUI 支持

感谢jtydhr88实现的ComfyUI-Unique3D！

获取更好结果的提示

重要：由于训练期间网格通过xyz最长边归一化，理想情况下输入图像需要包含物体最长边，否则可能会得到错误的压缩结果。

Unique3D 对输入图像的朝向非常敏感。由于训练数据的分布，正面正视图和休息姿势总能带来良好的重建效果。
遮挡较多的图像会导致重建效果较差，因为四个视角无法覆盖完整的物体。遮挡较少的图像能带来更好的结果。
提供尽可能高分辨率的图像作为输入，当分辨率是影响因素时。

致谢

我们大量借鉴了以下代码库的代码。非常感谢作者们分享的代码。

合作

我们的使命是创建一个具有3D概念的4D生成模型。这只是我们的第一步，前方的道路还很长，但我们充满信心。我们热情地邀请您加入讨论，并在任何能力范围内探索潜在的合作关系。<span style="color:red">如果您有兴趣与我们联系或合作，请通过电子邮件（wkl22@mails.tsinghua.edu.cn）联系我们</span>。

关注我们的Twitter了解最新动态：https://x.com/aiuni_ai
加入AIGC 3D/4D生成社区Discord：https://discord.gg/aiuni
研究合作，请联系：ai@aiuni.ai

引用

如果你觉得Unique3D有帮助，请引用我们的报告：

@misc{wu2024unique3d,
      title={Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image}, 
      author={Kailu Wu and Fangfu Liu and Zhihan Cai and Runjie Yan and Hanyang Wang and Yating Hu and Yueqi Duan and Kaisheng Ma},
      year={2024},
      eprint={2405.20343},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}