ULIP-2：面向3D理解的可扩展多模态预训练（CVPR2024）

ULIP：学习语言、图像和点云的统一表示用于3D理解（CVPR2023）

新闻

[2024年2月26日] "ULIP-2：面向3D理解的可扩展多模态预训练被CVPR2024接收！"

[2023年6月9日] "PointBERT ULIP-2预训练模型已发布，请在此处查找"。

[2023年6月9日] "ULIP - ShapeNet三元组"的较小版本已在此处发布，现在大约为420GB。查看此图像文件夹"only_rgb_depth_images"，您可以选择下载这个渲染图像的子集，这些是ULIP使用的确切图像，而不是下载完整的"rendered_images"文件夹（超过1TB）。

[2023年5月22日] "ULIP - Objaverse三元组"和"ULIP - ShapeNet三元组"已上传此处。

[2023年5月14日] ULIP-2已发布！

[2023年2月28日] ULIP已被CVPR 2023接收！🔥🔥🔥

动画

流程动画

ULIP是什么

ULIP是一个与模型无关的多模态预训练框架，它可以利用其他模态（图像、语言）的信息来提高理解3D数据的能力，而不会引入任何额外的延迟。

流程

整体流程

说明

ULIP是一个高度可扩展的多模态预训练框架，它与模型架构无关，这意味着您可以轻松插入任何3D骨干模型，并使用我们的框架进行预训练，为各种下游任务获得良好的起点！

[安装环境]

我们在8个Nvidia A100 GPU上预训练ULIP，代码已在CUDA==11.0和pytorch==1.10.1上测试
conda create -n ulip python=3.7.15
conda activate ulip
conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge
pip install -r requirements.txt

[可选]
如果您想预训练PointNeXt，我们在./models/pointnext中嵌入了一个修改过的PointNeXt代码库，请执行以下操作来安装它：

cd ./models/pointnext/PointNeXt \
bash update.sh \
bash install.sh \

[下载数据集和初始化模型，将它们放在正确的路径中。]

从这里下载使用的数据集和初始化模型。目前，您只需要下载"initialize_models"、"modelnet40_normal_resampled"和"shapenet-55"。您可能需要一个Gmail账户才能访问它。
下载数据集和初始化模型后，您可以选择以下选项之一：
(1) 将其放入数据文件夹或创建软链接，默认情况下，数据文件夹应具有以下结构：

./data |
-- ModelNet40.yaml |
-- ShapeNet-55.yaml |
-- dataset_3d.py |
-- dataset_catalog.json |
-- initialize_models |
-- labels.json |
-- modelnet40_normal_resampled |
-- shapenet-55 |
-- templates.json

(2) 相应地更改路径（如果您不想在数据文件夹中放置/链接下载的文件，则可选择这样做）：

# 更改"DATA_PATH"、"PC_PATH"、"IMAGE_PATH"
./data/ShapeNet-55.yaml
# 更改"DATA_PATH"
./data/ModelNet40.yaml
# 更改initialize_models地址
./models/ULIP_models.py
修改这一行 "pretrain_slip_model = torch.load('./data/initialize_models/slip_base_100ep.pt', map_location=torch.device('cpu'))"

[预训练3D骨干网络]

我们的框架与模型架构无关，目前支持四种3D骨干网络： Pointnet2(ssg) PointBERT PointMLP PointNeXt

请根据您的系统相应地更改脚本，默认情况下此脚本用于在8个GPU上进行预训练。您也可以在脚本中修改所需的输出文件夹。

# 脚本以其对应的3D骨干网络名称命名。
bash ./scripts/(选择您的预训练脚本)

[测试预训练模型在ModelNet40上的零样本分类效果]

您也可以在脚本中更改输出路径。

bash ./scripts/(选择您的测试脚本) /path/to/your/checkpoint.pt

您也可以在脚本中更改输出路径。

[使用不同数量的点进行预训练和测试]

更改脚本中的npoints参数，默认值为8192。注意：目前我们使用FPS对8192个点进行下采样，这可能会降低训练速度。如果您愿意，可以选择缓存或保存预处理后的具有不同点数的数据集，以加快预训练速度。

[预训练您自定义的3D骨干网络]

要预训练您自己的自定义3D骨干网络，只需要更改两件事： (1) 在./models文件夹中定义您自己的3D骨干网络。我们在这里放置了一个"customized_backbone"模板，您可以参考注释来了解预期的输入和输出形状。您也可以参考这里定义的pointnet2。 (2) 在./models/ULIP_models.py中使用或修改这个"ULIP_CUSTOMIZED"类。请参考"ULIP_CUSTOMIZED"类中的注释，应该很容易理解，请确保相应地更改"pc_feat_dims"（因为我们对自定义3D骨干网络的点云输出特征维度不作限制）。

用于零样本分类的预训练模型

ModelNet40上的零样本分类，8k点预训练，8k点测试，最佳检查点：

模型	top1	top5
Pointnet2(ssg)	57.7	78.9
PointMLP	60.0	79.4
PointBERT	60.3	84.0
PointNeXt	56.2	77.0
PointBERT_ULIP-2(xyz输入)	75.6	93.7

待办事项

更多支持的骨干网络将很快发布。

发布的预训练数据集的许可和使用条款

代码遵循 https://github.com/salesforce/ULIP/blob/main/LICENSE.txt。

发布的"ULIP - Objaverse Triplets"遵循 https://opendatacommons.org/licenses/by/1-0/，与Objaverse的许可一致。

发布的"ULIP - ShapeNet Triplets"遵循 https://shapenet.org/terms 的使用条款，与ShapeNet的使用条款一致。

引用

@article{xue2022ulip,
  title={ULIP: Learning Unified Representation of Language, Image and Point Cloud for 3D Understanding},
  author={Xue, Le and Gao, Mingfei and Xing, Chen and Mart{\'\i}n-Mart{\'\i}n, Roberto and Wu, Jiajun and Xiong, Caiming and Xu, Ran and Niebles, Juan Carlos and Savarese, Silvio},
  journal={arXiv preprint arXiv:2212.05171},
  year={2022}
}
@misc{xue2023ulip2,
  title={ULIP-2: Towards Scalable Multimodal Pre-training for 3D Understanding}, 
  author={Le Xue and Ning Yu and Shu Zhang and Junnan Li and Roberto Martín-Martín and Jiajun Wu and Caiming Xiong and Ran Xu and Juan Carlos Niebles and Silvio Savarese},
  year={2023},
  eprint={2305.08275},
  archivePrefix={arXiv},
  primaryClass={cs.CV}

}