Toon3D

<i>人类可以从非3D一致的图像中感知3D世界，为什么机器不能呢？</i> 这个项目实现了对非几何一致场景（如卡通）的3D重建。我们从卡通中选取几张图片并将其重建为3D。我们的项目页面在https://toon3d.studio/。

图像 1	图像 2	图像 3

环境设置

创建一个conda环境并安装Toon3D。

pip install -e .

下载Toon3D数据集场景

从这里下载Toon3D数据集，并将数据集文件夹放在data/processed中。

运行完整的SfM流程（可选，用于自定义数据）

本节将指导您从一小组图像开始，对其进行标注，并运行我们的自定义SfM来创建初始数据集。这就是我们创建上面提供的预处理数据集的方式。

获取图像

您可以从这个Google Drive链接下载我们的一个图像集，或者直接使用您自己的图像。将图像放在父目录下的文件夹中，如data/images/[dataset]，其中[dataset]是数据集名称。开始时，下载bobs-burgers-dining图像并按照以下说明操作。

处理数据

此步骤运行深度估计和Segment Anything (SAM)。

安装方法：

pip install segment_anything @ git+https://github.com/facebookresearch/segment-anything.git

使用tnd-download-data sam下载SAM权重。

现在，您可以运行

tnd-process-data initialize --dataset [dataset] --input_path [input_path]

其中input_path是您图像的源文件夹，而dataset是将输出到data/processed/[dataset]的数据集名称

例如，

tnd-process-data initialize --dataset bobs-burgers-dining --input_path data/images/bobs-burgers-dining

如果您想在初始化后向数据集添加更多图像，运行以下命令

tnd-process-data add --dataset bobs-burgers-dining --input_path data/images/more-bobs-burgers-dining-photos

标注图像

您可以使用labeler.toon3d.studio。

您有两种方法将数据导入查看器。

(1) 上传ZIP文件夹

您可以上传已压缩的处理数据文件夹或仅选择一些图像。如果只有图像，功能会更有限（没有深度图像或SAM掩码）。

(2) 无上传版本，用于更快速的开发

将处理后的数据公开到一个公共URL。这里是我们脚本的一个例子，允许任何来源的CORS。您可以更改端口或托管文件的相对目录。

tnd-server --path data/processed --port 8000

现在，打开您处理好的数据集并进行标注。

在这种情况下，导航到https://labeler.toon3d.studio/?path=http://localhost:8000/[dataset]。

例如：https://labeler.toon3d.studio/?path=http://localhost:8000/bobs-burgers-dining

运行结构光法！

现在我们可以运行我们的方法来获得用于新视角合成的密集3D重建。

例如，

tnd-run --dataset bobs-burgers-dining

运行密集重建！

例如，

ns-train toon3d --data data/nerfstudio/bobs-burgers-dining

渲染您创建的相机路径

tnd-render camera-path --load-config [load-config] --camera-path-filename [camera-path-filename] --output-path [output-path].mp4

在训练视图之间渲染视频

tnd-render interpolate --load-config [load-config] --output-path [output-path]

项目结构

outputs文件夹根据进行的实验类型进行组织。

outputs/[dataset]/run/[timestamp]       # 用于SfM实验
outputs/[dataset]/toon3d/[timestamp]    # 用于MVS实验

引用

如果您发现这些代码或数据对您的研究有用，请考虑引用以下论文：

@inproceedings{weber2023toon3d,
title = {Toon3D: Seeing Cartoons from a New Perspective},
author = {Ethan Weber* and Riley Peterlinz* and Rohan Mathur and
    Frederik Warburg and Alexei A. Efros and Angjoo Kanazawa},
booktitle = {arXiv},
year = {2024},
}