NeurVPS: 基于圆锥卷积的神经消失点扫描

本仓库包含论文《NeurVPS: 基于圆锥卷积的神经消失点扫描》的官方PyTorch实现。作者：Yichao Zhou、Haozhi Qi、Jingwei Huang、Yi Ma。NeurIPS 2019。

简介

NeurVPS是一个端到端可训练的深度网络，它使用几何启发的卷积算子来检测图像中的消失点。结合数据驱动方法和几何先验的优势，NeurVPS能够超越之前最先进的消失点检测方法，如LSD/J-Linkage和Contour (TMM17)。

主要结果

定性评估

SceneCity Urban 3D (SU3)	Natural Scene (TMM17)	ScanNet

随机采样的结果可以在论文的补充材料中找到。

定量评估

SceneCity Urban 3D (SU3)	Natural Scene (TMM17)	ScanNet
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/29586df7-2647-431a-a2d1-0225d5bf2247.svg" width="260">	<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/cae79f9d-9af5-462b-8044-c53e78d13dec.svg" width="260">	<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/2ed23b95-c35f-4ec8-8a62-3f596bdeba4d.svg" width="260">

这里，x轴表示检测到的消失点的角度精度，y轴表示误差小于该值的结果的百分比。我们的圆锥卷积网络优于所有基准方法和之前最先进的消失点检测方法，而简单的CNN实现可能会表现不如这些传统方法，尤其是在高精度区域。

代码结构

以下是每个文件功能的快速概览。

########################### 数据 ###########################
data/                           # 存放数据的默认文件夹
    su3/                        # SU3数据集文件夹
    tmm17/                      # TMM17数据集文件夹
    scannet-vp/                 # ScanNet数据集文件夹
logs/                           # 训练过程中存储输出的默认文件夹
########################### 代码 ###########################
config/                         # 神经网络超参数和配置
    su3.yaml                    # SU3数据集的默认参数
    tmm17.yaml                  # TMM17数据集的默认参数
    scannet.yaml                # scannet数据集的默认参数
dataset/                        # 所有与数据生成相关的脚本
    su3.py                      # 预处理SU3数据集为npz的脚本
misc/                           # 不太重要的杂项脚本
    find-radius.py              # 生成图形网格的脚本
neurvps/                        # neurvps模块，可以在其他脚本中"import neurvps"
    models/                     # 神经网络架构
        cpp/                    # 可变形卷积的CUDA内核
        deformable.py           # 可变形卷积层的Python包装器
        conic.py                # 圆锥卷积层
        hourglass_pose.py       # 骨干网络
        vanishing_net.py        # 主网络
    datasets.py                 # 读取训练数据
    trainer.py                  # 训练器
    config.py                   # 配置的全局变量
    utils.py                    # 杂项函数
train.py                        # 训练神经网络的脚本
eval.py                         # 从检查点评估数据集的脚本

复现结果

安装

为了便于复现，建议您在执行以下命令之前安装miniconda（或者如果您喜欢的话，可以安装anaconda）。

git clone https://github.com/zhou13/neurvps
cd neurvps
conda create -y -n neurvps
source activate neurvps
# 将cudatoolkit=10.1替换为您的CUDA版本：https://pytorch.org/get-started/
conda install -y pytorch cudatoolkit=10.1 -c pytorch
conda install -y tensorboardx gdown -c conda-forge
conda install -y pyyaml docopt matplotlib scikit-image opencv tqdm
mkdir data logs

下载处理好的数据集

确保您的系统已安装curl，然后执行

cd data
wget https://huggingface.co/yichaozhou/neurvps/resolve/main/Data/scannet-vp/scannet-vp.z0{1..7}
wget https://huggingface.co/yichaozhou/neurvps/resolve/main/Data/scannet-vp/scannet-vp.zip
zip -FF scannet-vp.zip --out scannet-vp-full.zip
unzip -FF scannet-vp-full.zip
wget https://huggingface.co/yichaozhou/neurvps/resolve/main/Data/su3.tar.xz
wget https://huggingface.co/yichaozhou/neurvps/resolve/main/Data/tmm17.tar.xz
tar xf su3.tar.xz
tar xf tmm17.tar.xz
rm *.tar.xz *.z*
cd ..

或者，您可以从我们的Hugging Face仓库手动下载处理好的数据集，然后相应地进行操作。

训练

执行以下命令，使用默认参数在2个GPU（GPU 0和GPU 1，通过-d 0,1指定）上从头开始训练神经网络：

python ./train.py -d 0,1 --identifier su3 config/su3.yaml
python ./train.py -d 0,1 --identifier tmm17 config/tmm17.yaml
python ./train.py -d 0,1 --identifier scannet config/scannet.yaml

检查点和日志将相应地写入logs/目录。

注意： 对于TMM17数据集，由于其规模较小，模型对初始化更为敏感。您可能需要多次训练才能达到与预训练模型相同的性能。对于SU3，有报告称使用4个GPU训练可能会比论文中报告的性能更高，尽管训练过程更不稳定。

预训练模型

您可以从我们的Hugging Face仓库下载我们的参考预训练模型。这些预训练模型应该能够重现我们论文中的数据。

评估

执行以下命令，使用训练好的网络检查点计算并绘制角度精度（AA）曲线：

python eval.py -d 0 logs/YOUR_LOG/config.yaml logs/YOUR_LOG/checkpoint_best.pth.tar

常见问题

我想要一个关于消失点的快速教程。

答：我有一篇关于消失点和"高斯球表示"的博客文章。

我不理解你们的消失点格式。

答：取消注释这些行或这些行以可视化叠加在2D图像上的消失点。

yaml中焦距的单位是什么，为什么我需要它？

答：在我们的实现中，焦距的单位是2/w像素（w是图像宽度，仅支持方形图像）。这遵循OpenGL投影矩阵的惯例，使其与分辨率无关。焦距用于均匀采样消失点的位置。如果不知道焦距，您可以为您的图像类别设置一些常见的焦距，就像我们在config/tmm17.yaml中所做的那样。

您还可以查看to_label和to_pixel函数，它们使用焦距将3D线方向从2D消失点转换过来或转换过去。

我有一个问题。如何获得帮助？

答：您可以在Github上发布一个issue，这可能会帮助其他有同样问题的人。如果您认为更适合的话，也可以给我发送电子邮件。

致谢

我们感谢上海交通大学的李奕恺和麻省理工学院的吴嘉俊指出TMM17自然场景数据集数据增强中的一个错误。本工作得到了索尼研究院研究资助的支持。

引用NeurVPS

如果您在研究中发现NeurVPS有用，请考虑引用：

@inproceedings{zhou2019neurvps,
 author={Zhou, Yichao and Qi, Haozhi and Huang, Jingwei and Ma, Yi},
 title={{NeurVPS}: Neural Vanishing Point Scanning via Conic Convolution},
 booktitle={{NeurIPS}},
 year={2019}
}