rtdetr_r50vd_coco_o365

rtdetr_r50vd_coco_o365项目介绍

概述

rtdetr_r50vd_coco_o365项目是基于实时检测变压器（RT-DETR）的目标检测模型。这个项目旨在解决YOLO系列模型存在的速度和精度矛盾问题。RT-DETR是第一个实时的端到端目标检测器，它通过不使用非极大值抑制(NMS)来提高目标检测速度和精度。

项目背景

YOLO模型以其速度和精度之间的合理平衡而受到广泛欢迎。然而，YOLO模型的预测速度和精度常常因需要执行非极大值抑制而受到限制。传统的基于变压器的检测器，如DETR，虽然不需要使用NMS，但其高计算成本又限制了其实际应用能力。RT-DETR通过创新的算法解决了这个问题。

模型特点

RT-DETR分两步实现：保持精度的同时提升速度，然后在保持速度的基础上进一步提升精度。具体来说，这个模型设计了一个高效的混合编码器，能够快速处理多尺度特征，并通过解耦内尺度和跨尺度的特征融合提高速度。此外，它提出了最小不确定性查询选择，能为解码器提供高质量的初始查询，从而提高检测精度。RT-DETR还支持灵活的速度调节，可以通过调整解码器层数来适应不同的应用场景，无需重新训练。

性能评价

在COCO数据集上，RT-DETR-R50的平均精度（AP）达到53.1%，帧率为108 FPS（在T4 GPU上），在速度和精度上均优于以往的YOLO模型。此外，在进行Objects365数据集的预训练后，RT-DETR-R50的AP提升至55.3%。

使用方法

使用RT-DETR模型非常简单，用户可以按照以下步骤在Python中实现目标检测：

import torch
import requests
from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg' 
image = Image.open(requests.get(url, stream=True).raw)

image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r50vd_coco_o365")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r50vd_coco_o365")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")