MeshAnythingV2

<h3 align="center">MeshAnything V2: 基于邻接网格标记化的 艺术家级网格生成</h3> <a href="https://buaacyw.github.io/">陈艺文</a>1， <a href="https://yikaiw.github.io/">王一凯</a>2*， <a href="https://github.com/Luo-Yihao">罗逸豪</a>3， <a href="https://thuwzy.github.io/">王正一</a>2， <a href="https://scholar.google.com/citations?user=2pbka1gAAAAJ&hl=en">陈子龙</a>2， <a href="https://ml.cs.tsinghua.edu.cn/~jun/index.shtml">朱军</a>2， <a href="https://icoz69.github.io/">张驰</a>4*， <a href="https://guosheng.github.io/">林国升</a>1* *通讯作者 1南洋理工大学， 2清华大学， 3帝国理工学院， 4西湖大学 <div align="center">

</div> <img src="https://yellow-cdn.veclightyear.com/835a84d5/7fb95bba-f02e-458f-a607-6062e9b3da84.gif" alt="演示GIF" width="512px" />

安装

我们的环境已在Ubuntu 22、CUDA 11.8和A800上测试过。

克隆我们的仓库并创建conda环境

git clone https://github.com/buaacyw/MeshAnythingV2.git && cd MeshAnythingV2
conda create -n MeshAnythingV2 python==3.10.13 -y
conda activate MeshAnythingV2
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install flash-attn --no-build-isolation
pip install -U gradio

使用

邻接网格标记化和反标记化的实现

# 我们在adjacent_mesh_tokenization.py中发布了邻接网格标记化的实现。
# 反标记化请查看MeshAnything/models/meshanything_v2.py中的adjacent_detokenize函数
python adjacent_mesh_tokenization.py

文本/图像到艺术家级网格。我们建议先使用Rodin将文本或图像转换为密集网格。然后将密集网格输入给我们。

# 将Rodin的输出obj文件放入rodin_result文件夹，然后使用以下命令生成艺术家级网格。
# 我们建议使用--mc标志首先用行进立方体算法预处理输入网格。这有助于我们将推理点云对齐到我们的训练域。
python main.py --input_dir rodin_result --out_dir mesh_output --input_type mesh --mc

网格命令行推理

重要说明：如果您的网格输入不是由行进立方体算法生成的，我们建议您先用行进立方体算法预处理网格（只需添加--mc）。

# 文件夹输入
python main.py --input_dir examples --out_dir mesh_output --input_type mesh

# 单文件输入
python main.py --input_path examples/wand.obj --out_dir mesh_output --input_type mesh

# 先用行进立方体算法预处理
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc

# mc分辨率默认为128。对于一些精细的网格，这个分辨率可能不够。提高这个分辨率会增加预处理时间，但应该能获得更好的结果。
# 通过以下方式更改：--mc_level 7 -> 128 (2^7)，--mc_level 8 -> 256 (2^8)。
# 256分辨率行进立方体示例。
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc --mc_level 8

点云命令行推理

# 注意：如果您想使用自己的点云，请确保包含法线。
# 文件格式应为.npy文件，形状为(N, 6)，其中N是点的数量。前3列是坐标，后3列是法线。

# 文件夹推理
python main.py --input_dir pc_examples --out_dir pc_output --input_type pc_normal

# 单文件推理
python main.py --input_path pc_examples/grenade.npy --out_dir pc_output --input_type pc_normal

本地Gradio演示 <a href='https://github.com/gradio-app/gradio'><img src='https://img.shields.io/github/stars/gradio-app/gradio'></a>

python app.py

重要说明

在A6000 GPU上生成一个网格大约需要8GB内存和45秒（取决于生成网格的面数）。
输入网格将被归一化到单位边界框。为获得更好的结果，输入网格的上向量应为+Y。
受计算资源限制，MeshAnything在少于1600个面的网格上训练，无法生成超过1600个面的网格。输入网格的形状应足够锐利；否则，用仅1600个面表示它将很困难。因此，前馈3D生成方法可能由于形状质量不足而经常产生不好的结果。我们建议使用3D重建、扫描、基于SDS的方法（如DreamCraft3D）或Rodin的结果作为MeshAnything的输入。
更多示例请参考https://huggingface.co/spaces/Yiwen-ntu/MeshAnything/tree/main/examples。

致谢

我们的代码基于以下优秀的仓库：

引用

@misc{chen2024meshanythingv2artistcreatedmesh,
      title={MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization}, 
      author={Yiwen Chen and Yikai Wang and Yihao Luo and Zhengyi Wang and Zilong Chen and Jun Zhu and Chi Zhang and Guosheng Lin},
      year={2024},
      eprint={2408.02555},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2408.02555}, 
}