DE⫶TR：使用Transformer的端到端目标检测

DETR（DEtection TRansformer）的PyTorch训练代码和预训练模型。我们用Transformer替代了复杂的手工设计目标检测流程，并使用ResNet-50与Faster R-CNN相匹配，在COCO数据集上获得了42 AP的性能，同时计算量（FLOPs）减半，参数数量相同。仅用50行PyTorch代码即可实现推理。

DETR

DETR简介。与传统计算机视觉技术不同，DETR将目标检测视为一个直接的集合预测问题。它包括一个基于集合的全局损失函数，通过二分图匹配强制生成唯一预测，以及一个Transformer编码器-解码器架构。给定一组固定的少量学习到的目标查询，DETR推理物体之间的关系和全局图像上下文，直接并行输出最终的预测集合。由于这种并行特性，DETR非常快速且高效。

关于代码。我们认为目标检测不应比分类更困难，也不应需要复杂的库来进行训练和推理。 DETR实现和实验非常简单，我们提供了一个独立的Colab笔记本展示如何仅用几行PyTorch代码进行DETR推理。训练代码遵循这一理念 - 它不是一个库，而只是一个main.py文件，导入模型和准则定义，使用标准训练循环。

此外，我们在d2/文件夹中提供了一个Detectron2封装器。有关更多信息，请参阅那里的readme。

详情请参阅Nicolas Carion、Francisco Massa、Gabriel Synnaeve、Nicolas Usunier、Alexander Kirillov和Sergey Zagoruyko的论文《使用Transformer的端到端目标检测》。

查看我们的博客文章以了解更多关于使用transformer进行端到端目标检测的信息。

模型库

我们提供基线DETR和DETR-DC5模型，并计划在未来包含更多模型。 AP是在COCO 2017 val5k上计算的，推理时间是在前100张COCO val5k图像上测量的，使用torchscript transformer。

COCO val5k评估结果可以在这个gist中找到。

这些模型也可以通过torch hub获取，要加载预训练的DETR R50模型，只需执行：

model = torch.hub.load('facebookresearch/detr:main', 'detr_resnet50', pretrained=True)

COCO全景分割val5k模型：

查看我们的全景分割colab 以了解如何使用和可视化DETR的全景分割预测。

笔记本

我们提供了几个colab笔记本，帮助您了解DETR：

DETR实践Colab笔记本：展示如何从hub加载模型、生成预测，然后可视化模型的注意力（类似于论文中的图表）
独立Colab笔记本：在这个笔记本中，我们演示如何用50行Python代码从头实现DETR的简化版本，然后可视化预测结果。如果您想更好地理解架构并在深入研究代码库之前进行探索，这是一个很好的起点。
全景分割Colab笔记本：演示如何使用DETR进行全景分割并绘制预测结果。

使用方法 - 目标检测

DETR没有额外的编译组件，包依赖最小化，因此代码使用非常简单。我们提供了通过conda安装依赖项的说明。首先，在本地克隆仓库：

git clone https://github.com/facebookresearch/detr.git

然后，安装PyTorch 1.5+和torchvision 0.6+：

conda install -c pytorch pytorch torchvision

安装pycocotools（用于COCO评估）和scipy（用于训练）：

conda install cython scipy
pip install -U 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'

就这样，应该可以训练和评估检测模型了。

（可选）要进行全景分割，请安装panopticapi：

pip install git+https://github.com/cocodataset/panopticapi.git

数据准备

从 http://cocodataset.org 下载并解压 COCO 2017 训练集和验证集图像及其注释。我们期望目录结构如下：

path/to/coco/
  annotations/  # 注释 json 文件
  train2017/    # 训练集图像
  val2017/      # 验证集图像

训练

要在单个节点上使用 8 个 GPU 训练基线 DETR 模型 300 个 epoch，请运行：

python -m torch.distributed.launch --nproc_per_node=8 --use_env main.py --coco_path /path/to/coco

单个 epoch 需要 28 分钟，因此 300 个 epoch 的训练在单台配备 8 张 V100 显卡的机器上大约需要 6 天。为了便于复现我们的结果，我们提供了 150 个 epoch 训练计划（单机 3 天）的结果和训练日志，达到了 39.5/60.3 AP/AP50。

我们使用 AdamW 优化器训练 DETR，transformer 的学习率设为 1e-4，backbone 的学习率设为 1e-5。数据增强使用了水平翻转、缩放和裁剪。图像被重新缩放，使最小边为 800，最大边为 1333。 transformer 使用 0.1 的 dropout 进行训练，整个模型使用 0.1 的梯度裁剪进行训练。

评估

要在单个 GPU 上评估 COCO val5k 数据集上的 DETR R50 模型，请运行：

python main.py --batch_size 2 --no_aux_loss --eval --resume https://dl.fbaipublicfiles.com/detr/detr-r50-e632da11.pth --coco_path /path/to/coco

我们在这个 gist 中提供了所有 DETR 检测模型的结果。请注意，结果会因每个 GPU 的批次大小（图像数量）而有所不同。非 DC5 模型使用批次大小 2 进行训练，DC5 模型使用批次大小 1，因此如果使用每个 GPU 超过 1 张图像进行评估，DC5 模型的 AP 会显著下降。

多节点训练

通过 Slurm 和 submitit 可以进行分布式训练：

pip install submitit

在 4 个节点上训练基线 DETR-6-6 模型 300 个 epoch：

python run_with_submitit.py --timeout 3000 --coco_path /path/to/coco

使用方法 - 分割

我们展示了将 DETR 扩展到预测分割掩码相对简单。我们主要展示了强大的全景分割结果。

数据准备

对于全景分割，除了 coco 数据集（见上文的 coco 数据集）外，还需要全景注释。您需要下载并解压全景注释。我们期望目录结构如下：

path/to/coco_panoptic/
  annotations/  # 注释 json 文件
  panoptic_train2017/    # 训练集全景注释
  panoptic_val2017/      # 验证集全景注释

训练

我们建议分两个阶段训练分割：首先训练 DETR 检测所有边界框，然后训练分割头。对于全景分割，DETR 必须学会检测stuff和things类别的边界框。您可以在单个节点上使用 8 个 GPU 训练 300 个 epoch：

python -m torch.distributed.launch --nproc_per_node=8 --use_env main.py --coco_path /path/to/coco  --coco_panoptic_path /path/to/coco_panoptic --dataset_file coco_panoptic --output_dir /output/path/box_model

对于实例分割，您可以简单地训练一个普通的边界框模型（或使用我们提供的预训练模型）。

一旦您有了边界框模型检查点，您需要冻结它，然后单独训练分割头。对于全景分割，您可以在单个节点上使用 8 个 GPU 训练 25 个 epoch：

python -m torch.distributed.launch --nproc_per_node=8 --use_env main.py --masks --epochs 25 --lr_drop 15 --coco_path /path/to/coco  --coco_panoptic_path /path/to/coco_panoptic  --dataset_file coco_panoptic --frozen_weights /output/path/box_model/checkpoint.pth --output_dir /output/path/segm_model

仅对于实例分割，只需从上述命令行中删除 dataset_file 和 coco_panoptic_path 参数即可。