superpoint

SuperPoint项目介绍

概述

SuperPoint模型由Daniel DeTone、Tomasz Malisiewicz和Andrew Rabinovich在论文《SuperPoint: Self-Supervised Interest Point Detection and Description》中提出。这一模型通过一个完全卷积网络进行自监督训练，用于兴趣点检测和描述。它能够检测在透视变换下具有重复性的兴趣点，并为每个点提供一个描述符。虽然该模型单独使用时的功能有限，但可以作为特征提取工具用于其他任务，例如透视变换估计和图像匹配等。

论文摘要指出，该框架提供了一种自监督的方法，适用于大量计算机视觉中的多视角几何问题。不同于基于局部图像块的神经网络，SuperPoint使用完全卷积网络操作全尺寸图像，能够在一个前向传递中联合计算像素级的兴趣点位置和相关描述符。它引入了同质自适应技术，一种多尺度、多透视变换的方法，以提高兴趣点检测的可重复性，并能够进行跨领域适应（例如从合成图像到真实图像）。经过在MS-COCO通用图像数据集上训练后，SuperPoint模型能够检测出比初始未适应的深度模型和其他传统角点检测器更丰富的兴趣点集。最终系统在HPatches数据集上与LIFT、SIFT和ORB相比，展示出最先进的透视变换估计结果。

演示笔记本

展示如何使用SuperPoint进行推理和可视化的演示笔记本可以在此处找到。

如何使用

以下是一个使用模型在图像中检测兴趣点的简单示例：

from transformers import AutoImageProcessor, SuperPointForKeypointDetection
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("magic-leap-community/superpoint")
model = SuperPointForKeypointDetection.from_pretrained("magic-leap-community/superpoint")

inputs = processor(image, return_tensors="pt")
outputs = model(**inputs)

输出包含兴趣点坐标的列表，以及每个点的得分和描述符（一个256维向量）。

用户还可以输入多个图像进行处理。由于SuperPoint的特性，为了输出动态数量的兴趣点，需使用mask属性来获取相关信息：

from transformers import AutoImageProcessor, SuperPointForKeypointDetection
import torch
from PIL import Image
import requests

url_image_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
image_1 = Image.open(requests.get(url_image_1, stream=True).raw)
url_image_2 = "http://images.cocodataset.org/test-stuff2017/000000000568.jpg"
image_2 = Image.open(requests.get(url_image_2, stream=True).raw)

images = [image_1, image_2]

processor = AutoImageProcessor.from_pretrained("magic-leap-community/superpoint")
model = SuperPointForKeypointDetection.from_pretrained("magic-leap-community/superpoint")

inputs = processor(images, return_tensors="pt")
outputs = model(**inputs)

for i in range(len(images)):
    image_mask = outputs.mask[i]
    image_indices = torch.nonzero(image_mask).squeeze()
    image_keypoints = outputs.keypoints[i][image_indices]
    image_scores = outputs.scores[i][image_indices]
    image_descriptors = outputs.descriptors[i][image_indices]

然后可以将兴趣点绘制在图像上以可视化结果：

import cv2
for keypoint, score in zip(image_keypoints, image_scores):
    keypoint_x, keypoint_y = int(keypoint[0].item()), int(keypoint[1].item())
    color = tuple([score.item() * 255] * 3)
    image = cv2.circle(image, (keypoint_x, keypoint_y), 2, color)
cv2.imwrite("output_image.png", image)