D2-Net：用于联合检测和描述局部特征的可训练CNN

本仓库包含以下论文的实现：

"D2-Net：用于联合检测和描述局部特征的可训练CNN"。
M. Dusmanu, I. Rocco, T. Pajdla, M. Pollefeys, J. Sivic, A. Torii, 和 T. Sattler. CVPR 2019。

arXiv上的论文，项目页面

开始使用

建议使用Python 3.6+来运行我们的代码。可以使用Conda安装所需的包：

conda install pytorch torchvision cudatoolkit=10.0 -c pytorch
conda install h5py imageio imagesize matplotlib numpy scipy tqdm

下载模型

可以通过运行以下命令下载现成的Caffe VGG16权重及其调优后的版本：

mkdir models
wget https://dusmanu.com/files/d2-net/d2_ots.pth -O models/d2_ots.pth
wget https://dusmanu.com/files/d2-net/d2_tf.pth -O models/d2_tf.pth
wget https://dusmanu.com/files/d2-net/d2_tf_no_phototourism.pth -O models/d2_tf_no_phototourism.pth

更新 - 2019年5月23日 我们添加了一组新的权重，这些权重在不包含PhotoTourism场景的MegaDepth上训练（sagrada_familia - 0019, lincoln_memorial_statue - 0021, british_museum - 0024, london_bridge - 0025, us_capitol - 0078, mount_rushmore - 1589）。我们的初步结果显示性能相似。要在测试时使用这些权重，你应该添加--model_file models/d2_tf_no_phototourism.pth。

特征提取

extract_features.py可用于为给定的图像列表提取D2特征。单尺度特征对于1200x1600的图像需要不到6GB的显存。可以使用--multiscale标志来提取多尺度特征 - 为此，我们建议至少使用12GB的显存。

输出格式可以是npz或mat。无论哪种情况，特征文件都包含三个数组：

keypoints [N x 3]数组，包含关键点的位置x, y和尺度s。位置遵循COLMAP格式，X轴指向右侧，Y轴指向底部。
scores [N]数组，包含关键点的激活值（越高越好）。
descriptors [N x 512]数组，包含L2归一化的描述符。

python extract_features.py --image_list_file images.txt (--multiscale)

使用kapture数据集进行特征提取

Kapture是一种基于文本和二进制文件的枢纽文件格式，用于描述SFM（Structure From Motion）和更一般的传感器采集数据。

它可在https://github.com/naver/kapture获得。它包含流行格式的转换工具，几个流行的数据集直接以kapture格式提供。

可以通过以下方式安装：

pip install kapture

可以通过以下方式下载数据集：

kapture_download_dataset.py update
kapture_download_dataset.py list
# 例如：安装Extended-CMU-Seasons_slice22的映射和查询
kapture_download_dataset.py install "Extended-CMU-Seasons_slice22_*"

如果你想将自己的数据集转换为kapture格式，请在这里找到一些示例。

安装完成后，你可以使用以下命令为你的kapture数据集提取关键点：

python extract_kapture.py --kapture-root 你的kapture数据集路径 (--multiscale)

运行python extract_kapture.py --help以获取有关提取参数的更多信息。

在MegaDepth上进行调优

这里提供的训练流程是用于训练上面可下载模型的TensorFlow代码的PyTorch实现。

更新 - 2019年6月5日 我们修复了数据集预处理中的一个错误 - 重新训练现在产生与原始TensorFlow实现类似的结果。

更新 - 2019年8月7日 我们发布了一个更新的、更准确的训练数据集版本 - 训练更稳定，对于相同的性能，速度显著提高。

下载和预处理MegaDepth数据集

对于这部分，应该安装COLMAP。请参考官方网站获取安装说明。

下载整个MegaDepth数据集（包括SfM模型）后，第一步是生成无畸变重建。可以通过如下方式调用undistort_reconstructions.py来完成：

python undistort_reconstructions.py --colmap_path /path/to/colmap/executable --base_path /path/to/megadepth

接下来，可以使用preprocess_megadepth.sh来检索相机参数并计算所有场景中图像之间的重叠。

bash preprocess_undistorted_megadepth.sh /path/to/megadepth /path/to/output/folder

训练

下载并预处理MegaDepth后，可以立即开始训练：

python train.py --use_validation --dataset_path /path/to/megadepth --scene_info_path /path/to/preprocessing/output

BibTeX

如果你在项目中使用此代码，请引用以下论文：

@InProceedings{Dusmanu2019CVPR,
    author = {Dusmanu, Mihai and Rocco, Ignacio and Pajdla, Tomas and Pollefeys, Marc and Sivic, Josef and Torii, Akihiko and Sattler, Torsten},
    title = {{D2-Net: A Trainable CNN for Joint Detection and Description of Local Features}},
    booktitle = {Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition},
    year = {2019},
}