米开朗基罗

基于形状-图像-文本对齐潜在表示的条件3D形状生成<br/>

赵子博, 刘文, 陈鑫, 曾宪方, 王睿, 程佩, 傅彬, 陈涛, 余刚, 高盛华<br/>

Hugging Face演示 | 项目页面 | Arxiv | 论文<br/>

https://github.com/NeuralCarver/Michelangelo/assets/37449470/123bae2c-fbb1-4d63-bd13-0e300a550868

我们框架生成的3D形状的可视化，分为三组：左侧是条件输入，中间是法线贴图，右侧是三角网格。生成的3D形状在语义上符合视觉或文本条件输入。<br/>

🔆 特点

米开朗基罗具有三种能力：

1. 将形状表示为形状-图像-文本对齐空间；
2. 基于图像条件的形状生成；
3. 基于文本条件的形状生成。

<details> <summary><b> 技术 </b></summary>

我们提出了一种新颖的"先对齐后生成"方法来解决基于2D图像或文本生成通用3D形状的挑战性任务。直接从图像或文本到3D形状学习条件生成模型容易产生与条件不一致的结果，因为3D形状具有额外的维度，其分布与2D图像和文本的分布显著不同。为了缩小三种模态之间的领域差距并促进多模态条件3D形状生成，我们探索了在形状-图像-文本对齐空间中表示3D形状。我们的框架包括两个模型：形状-图像-文本对齐变分自编码器（SITA-VAE）和条件对齐形状潜在扩散模型（ASLDM）。前者将3D形状编码到与图像和文本对齐的形状潜在空间中，并通过基于transformer的解码器重建对应给定形状嵌入的精细3D神经场。后者学习从图像或文本空间到潜在形状空间的概率映射函数。我们的广泛实验表明，我们提出的方法可以生成更高质量、更多样化的3D形状，在语义上更好地符合视觉或文本条件输入，验证了形状-图像-文本对齐空间对跨模态3D形状生成的有效性。

</details>

📰 新闻

• [2024/1/23] 设置了<a href="https://huggingface.co/spaces/Maikou/Michelangelo">Hugging Face演示</a>并发布代码
• [2023/09/22] 米开朗基罗被NeurIPS 2023接收！
• [2023/6/29] 上传论文并初始化项目

⚙️ 设置

安装

按照以下命令安装环境。我们已在Tesla V100和Tesla T4上测试了安装包。

git clone https://github.com/NeuralCarver/Michelangelo.git
cd Michelangelo
conda create --name Michelangelo python=3.9
conda activate Michelangelo 
pip install -r requirements.txt

检查点

请从<a href="https://huggingface.co/Maikou/Michelangelo/tree/main/checkpoints">Hugging Face模型空间</a>下载权重并将其放在根文件夹中。我们还上传了与CLIP相关的权重以方便快速使用。

<details> <summary><b> 配置调试提示 </b></summary>

• 如果在环境配置过程中不幸出现问题，用户可以考虑跳过那些包，如pysdf、torch-cluster和torch-scatter。这些包不会影响我们提供的命令的执行。
• 如果在下载CLIP时遇到任何问题，可以考虑从CLIP的Hugging Face页面下载。下载完成后，记得修改配置文件中的第26行和第34行，以提供CLIP的正确路径。
• 来自问题6。对于Windows用户，运行wsl2 + ubuntu 22.04时会出现问题。如问题786中讨论的那样，只需在.bashrc中添加以下内容：

export LD_LIBRARY_PATH=/usr/lib/wsl/lib:$LD_LIBRARY_PATH.

</details>

⚡ 快速开始

推理

重建3D形状

./scripts/inference/reconstruction.sh

基于图像条件的形状生成

./scripts/inference/image2mesh.sh

基于文本条件的形状生成

./scripts/inference/text2mesh.sh

简单运行所有脚本

./scripts/infer.sh

❓ 常见问题

引用

如果您发现我们的代码或论文有帮助，请考虑引用：

@inproceedings{
zhao2023michelangelo,
title={Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation},
author={Zibo Zhao and Wen Liu and Xin Chen and Xianfang Zeng and Rui Wang and Pei Cheng and BIN FU and Tao Chen and Gang YU and Shenghua Gao},
booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
year={2023},
url={https://openreview.net/forum?id=xmxgMij3LY}
}

许可证

本代码在GPL-3.0许可证下分发。