TripoSR <a href="https://huggingface.co/stabilityai/TripoSR"><img src="https://img.shields.io/badge/%F0%9F%A4%97%20Model_Card-Huggingface-orange"></a> <a href="https://huggingface.co/spaces/stabilityai/TripoSR"><img src="https://img.shields.io/badge/%F0%9F%A4%97%20Gradio%20Demo-Huggingface-orange"></a> <a href="https://huggingface.co/papers/2403.02151"><img src="https://img.shields.io/badge/%F0%9F%A4%97%20Paper-Huggingface-orange"></a> <a href="https://arxiv.org/abs/2403.02151"><img src="https://yellow-cdn.veclightyear.com/835a84d5/927b64d0-dacf-431d-9dd8-1810dd51837d.svg"></a> <a href="https://discord.gg/mvS9mCfMnQ"><img src="https://yellow-cdn.veclightyear.com/835a84d5/a5b6fff9-f45f-4275-97d1-f527a716f15d.svg?logo=discord&logoColor=white"></a>

这是TripoSR的官方代码库，TripoSR是一个最先进的开源模型，用于从单张图像快速进行前馈式3D重建，由Tripo AI和Stability AI合作开发。

借鉴了大型重建模型(LRM)的原理，TripoSR带来了关键性的进步，显著提升了3D重建的速度和质量。我们的模型以快速处理输入而著称，能在NVIDIA A100 GPU上在不到0.5秒内生成高质量的3D模型。TripoSR在定性和定量评估中都表现出色，在多个公开数据集上超越了其他开源替代方案。下面的图表展示了TripoSR与其他领先模型相比的视觉对比和性能指标。有关模型架构、训练过程和比较的详细信息，可以在这份技术报告中找到。

该模型以MIT许可证发布，包括源代码、预训练模型和交互式在线演示。我们的目标是赋能研究人员、开发者和创意人员，推动3D生成AI和3D内容创作的可能性边界。

入门指南

安装

Python >= 3.8
如果可用，请安装CUDA
根据您的平台安装PyTorch：https://pytorch.org/get-started/locally/ [请确保本地安装的CUDA主版本与PyTorch附带的CUDA主版本匹配。例如，如果您安装了CUDA 11.x，请确保安装使用CUDA 11.x编译的PyTorch。]
通过 pip install --upgrade setuptools 更新setuptools
通过 pip install -r requirements.txt 安装其他依赖项

手动推理

python run.py examples/chair.png --output-dir output/

这将把重建的3D模型保存到 output/ 目录。您也可以指定多个用空格分隔的图像路径。默认选项对单张图像输入需要约6GB VRAM。

如果您想输出纹理而不是顶点颜色，请使用 --bake-texture 选项。您还可以使用 --texture-resolution 来指定输出纹理的分辨率（以像素为单位）。

有关此脚本的详细用法，请使用 python run.py --help。

本地Gradio应用

python gradio_app.py

故障排除

AttributeError: module 'torchmcubes_module' has no attribute 'mcubes_cuda'

或

torchmcubes was not compiled with CUDA support, use CPU version instead.

这是因为 torchmcubes 在编译时没有CUDA支持。请确保

本地安装的CUDA主版本与PyTorch附带的CUDA主版本匹配。例如，如果您安装了CUDA 11.x，请确保安装使用CUDA 11.x编译的PyTorch。
setuptools>=49.6.0。如果不是，请通过 pip install --upgrade setuptools 升级。

然后重新安装 torchmcubes：

pip uninstall torchmcubes
pip install git+https://github.com/tatsy/torchmcubes.git

引用

@article{TripoSR2024,
  title={TripoSR: Fast 3D Object Reconstruction from a Single Image},
  author={Tochilkin, Dmitry and Pankratz, David and Liu, Zexiang and Huang, Zixuan and and Letts, Adam and Li, Yangguang and Liang, Ding and Laforte, Christian and Jampani, Varun and Cao, Yan-Pei},
  journal={arXiv preprint arXiv:2403.02151},
  year={2024}
}