懂AI
dinov2

dinov2

通过无监督学习构建强大视觉特征的先进方法

DINOv2是一种先进的无监督视觉特征学习方法,在1.42亿张未标注图像上预训练后生成高性能、鲁棒的通用视觉特征。这些特征可直接应用于多种计算机视觉任务,仅需简单线性分类器即可实现优异效果。DINOv2提供多种预训练模型,包括带寄存器的变体,在ImageNet等基准测试中表现卓越。

DINOv2视觉特征自监督学习Vision Transformer计算机视觉Github开源项目
访问官网GitHub论文文档

:new: [2023-10-26] 增加了带寄存器的DINOv2主干网络,遵循视觉Transformer需要寄存器的方法。

DINOv2:无需监督学习鲁棒的视觉特征

Meta AI 研究院, FAIR

Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy V. Vo, Marc Szafraniec, Vasil Khalidov, Patrick Labatut, Armand Joulin, Piotr Bojanowski

[论文 #1] [论文 #2] [博客] [演示] [引用]

DINOv2的PyTorch实现和预训练模型。详情请参见论文:《DINOv2:无需监督学习鲁棒的视觉特征》和《视觉Transformer需要寄存器》。

DINOv2模型生成高性能的视觉特征,可以直接与简单如线性层的分类器一起用于各种计算机视觉任务;这些视觉特征具有鲁棒性,可以在不同领域表现良好,无需任何微调。这些模型在包含1.42亿张图像的数据集上进行了预训练,没有使用任何标签或注释。

https://github.com/facebookresearch/dinov2/assets/60359573/f168823e-7922-415a-b429-578badf5c356

<div align="center"> 所有帧的patch特征的前三个主成分的可视化,映射到RGB值。 </div>

预训练模型

<table style="margin: auto"> <thead> <tr> <th>模型</th> <th>参数量</th> <th>是否带<br />寄存器</th> <th>ImageNet<br />k-NN</th> <th>ImageNet<br />线性</th> <th>下载</th> </tr> </thead> <tbody> <tr> <td>ViT-S/14 蒸馏</td> <td align="right">21 M</td> <td align="center">:x:</td> <td align="right">79.0%</td> <td align="right">81.1%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_pretrain.pth">仅主干网络</a></td> </tr> <tr> <td>ViT-S/14 蒸馏</td> <td align="right">21 M</td> <td align="center">:white_check_mark:</td> <td align="right">79.1%</td> <td align="right">80.9%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_reg4_pretrain.pth">仅主干网络</a></td> </tr> <tr> <td>ViT-B/14 蒸馏</td> <td align="right">86 M</td> <td align="center">:x:</td> <td align="right">82.1%</td> <td align="right">84.5%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_pretrain.pth">仅主干网络</a></td> </tr> <tr> <td>ViT-B/14 蒸馏</td> <td align="right">86 M</td> <td align="center">:white_check_mark:</td> <td align="right">82.0%</td> <td align="right">84.6%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_reg4_pretrain.pth">仅主干网络</a></td> </tr> <tr> <td>ViT-L/14 蒸馏</td> <td align="right">300 M</td> <td align="center">:x:</td> <td align="right">83.5%</td> <td align="right">86.3%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_pretrain.pth">仅主干网络</a></td> </tr> <tr> <td>ViT-L/14 蒸馏</td> <td align="right">300 M</td> <td align="center">:white_check_mark:</td> <td align="right">83.8%</td> <td align="right">86.7%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_pretrain.pth">仅主干网络</a></td> </tr> <tr> <td>ViT-g/14</td> <td align="right">1,100 M</td> <td align="center">:x:</td> <td align="right">83.5%</td> <td align="right">86.5%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_pretrain.pth">仅主干网络</a></td> </tr> <tr> <td>ViT-g/14</td> <td align="right">1,100 M</td> <td align="center">:white_check_mark:</td> <td align="right">83.7%</td> <td align="right">87.1%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_reg4_pretrain.pth">仅主干网络</a></td> </tr> </tbody> </table>

预训练主干网络 (通过 PyTorch Hub)

请按照这里的说明安装PyTorch(加载模型唯一需要的依赖)。强烈建议安装支持CUDA的PyTorch版本。

仓库中包含了相应的模型卡片。

import torch

# DINOv2
dinov2_vits14 = torch.hub.load('facebookresearch/dinov2', 'dinov2_vits14')
dinov2_vitb14 = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitb14')
dinov2_vitl14 = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitl14')
dinov2_vitg14 = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitg14')

# 带寄存器的DINOv2
dinov2_vits14_reg = torch.hub.load('facebookresearch/dinov2', 'dinov2_vits14_reg')
dinov2_vitb14_reg = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitb14_reg')
dinov2_vitl14_reg = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitl14_reg')
dinov2_vitg14_reg = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitg14_reg')

预训练头部 - 图像分类

<table style="margin: auto"> <thead> <tr> <th rowspan="2">骨干网络</th> <th rowspan="2">带寄存器</th> <th>下载</th> </tr> <tr> <th>ImageNet</th> </tr> </thead> <tbody> <tr> <td>ViT-S/14 蒸馏</td> <td align="center">:x:</td> <td> 线性头 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_linear4_head.pth">4层</a>) </td> </tr> <tr> <td>ViT-S/14 蒸馏</td> <td align="center">:white_check_mark:</td> <td> 线性头 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_reg4_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_reg4_linear4_head.pth">4层</a>) </td> </tr> <tr> <td>ViT-B/14 蒸馏</td> <td align="center">:x:</td> <td> 线性头 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_linear4_head.pth">4层</a>) </tr> <tr> <td>ViT-B/14 蒸馏</td> <td align="center">:white_check_mark:</td> <td> 线性头 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_reg4_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_reg4_linear4_head.pth">4层</a>) </tr> <tr> <td>ViT-L/14 蒸馏</td> <td align="center">:x:</td> <td> 线性头 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_linear4_head.pth">4层</a>) </tr> <tr> <td>ViT-L/14 蒸馏</td> <td align="center">:white_check_mark:</td> <td> 线性头 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_linear4_head.pth">4层</a>) </tr> <tr> <td>ViT-g/14</td> <td align="center">:x:</td> <td> 线性头 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_linear4_head.pth">4层</a>) </tr> <tr> <td>ViT-g/14</td> <td align="center">:white_check_mark:</td> <td> 线性头 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_lreg4_inear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_reg4_linear4_head.pth">4层</a>) </tr> </tbody> </table>

可以通过PyTorch Hub加载（完整的）分类器模型：

import torch

# DINOv2
dinov2_vits14_lc = torch.hub.load('facebookresearch/dinov2', 'dinov2_vits14_lc')
dinov2_vitb14_lc = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitb14_lc')
dinov2_vitl14_lc = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitl14_lc')
dinov2_vitg14_lc = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitg14_lc')

# 带寄存器的DINOv2
dinov2_vits14_reg_lc = torch.hub.load('facebookresearch/dinov2', 'dinov2_vits14_reg_lc')
dinov2_vitb14_reg_lc = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitb14_reg_lc')
dinov2_vitl14_reg_lc = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitl14_reg_lc')
dinov2_vitg14_reg_lc = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitg14_reg_lc')

预训练头 - 深度估计

<table style="margin: auto"> <thead> <tr> <th rowspan="2">骨干网络</th> <th colspan="2">下载头部</th> </tr> <tr> <th>NYUd</th> <th>KITTI</th> </tr> </thead> <tbody> <tr> <td>ViT-S/14 蒸馏版</td> <td> 线性 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_nyu_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_nyu_linear4_head.pth">4层</a>), <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_nyu_dpt_head.pth">DPT</a> </td> <td> 线性 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_kitti_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_kitti_linear4_head.pth">4层</a>), <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_kitti_dpt_head.pth">DPT</a> </td> </tr> <tr> <td>ViT-B/14 蒸馏版</td> <td> 线性 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_nyu_linear4_head.pth">4层</a>), <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_nyu_dpt_head.pth">DPT</a> </td> <td> 线性 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_kitti_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_kitti_linear4_head.pth">4层</a>), <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_kitti_dpt_head.pth">DPT</a> </td> </tr> <tr> <td>ViT-L/14 蒸馏版</td> <td> 线性 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_nyu_linear4_head.pth">4层</a>), <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_nyu_dpt_head.pth">DPT</a> </td> <td> 线性 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_kitti_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_kitti_linear4_head.pth">4层</a>), <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_kitti_dpt_head.pth">DPT</a> </td> </tr> <tr> <td>ViT-g/14</td> <td> 线性 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_nyu_linear4_head.pth">4层</a>), <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_nyu_dpt_head.pth">DPT</a> </td> <td> 线性 (<a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_kitti_linear_head.pth">1层</a>, <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_kitti_linear4_head.pth">4层</a>), <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_kitti_dpt_head.pth">DPT</a> </td> </tr> </tbody> </table>

预训练头部 - 语义分割

<table style="margin: auto"> <thead> <tr> <th rowspan="2">主干网络</th> <th>下载模型</th> <th colspan="2">下载头部</th> </tr> <tr> <th>ADE20K</th> <th>ADE20K</th> <th>VOC2012</th> </tr> </thead> <tbody> <tr> <td>ViT-S/14 蒸馏</td> <td></td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_ade20k_linear_head.pth">线性</a>， <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_ade20k_ms_head.pth">多尺度</a> </td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_voc2012_linear_head.pth">线性</a>， <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_voc2012_ms_head.pth">多尺度</a> </td> </tr> <tr> <td>ViT-B/14 蒸馏</td> <td></td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_ade20k_linear_head.pth">线性</a>， <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_ade20k_ms_head.pth">多尺度</a> </td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_voc2012_linear_head.pth">线性</a>， <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_voc2012_ms_head.pth">多尺度</a> </td> </tr> <tr> <td>ViT-L/14 蒸馏</td> <td></td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_ade20k_linear_head.pth">线性</a>， <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_ade20k_ms_head.pth">多尺度</a> </td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_voc2012_linear_head.pth">线性</a>， <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_voc2012_ms_head.pth">多尺度</a> </td> </tr> <tr> <td>ViT-g/14</td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_ade20k_m2f.pth">Mask2Former</a> </td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_ade20k_linear_head.pth">线性</a>， <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_ade20k_ms_head.pth">多尺度</a> </td> <td> <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_voc2012_linear_head.pth">线性</a>， <a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_voc2012_ms_head.pth">多尺度</a> </td> </tr> </tbody> </table>

安装

训练和评估代码需要PyTorch 2.0和xFormers 0.0.18，以及其他一些第三方软件包。请注意，代码仅在指定版本上进行过测试，并且需要在Linux环境下运行。要设置训练和评估所需的所有依赖项，请按照以下说明操作：

conda (推荐) - 克隆仓库，然后使用提供的环境定义创建并激活dinov2conda环境：

conda env create -f conda.yaml
conda activate dinov2

pip - 克隆仓库，然后使用提供的requirements.txt安装依赖项：

pip install -r requirements.txt

对于密集任务（深度估计和语义分割），还有额外的依赖项（特定版本的mmcv和mmsegmentation），这些都包含在extras依赖规范中：

conda (推荐):

conda env create -f conda-extras.yaml
conda activate dinov2-extras

pip:

pip install -r requirements.txt -r requirements-extras.txt

数据准备

ImageNet-1k

数据集的根目录应包含以下内容：

  • <ROOT>/test/ILSVRC2012_test_00000001.JPEG
  • <ROOT>/test/[..]
  • <ROOT>/test/ILSVRC2012_test_00100000.JPEG
  • <ROOT>/train/n01440764/n01440764_10026.JPEG
  • <ROOT>/train/[...]
  • <ROOT>/train/n15075141/n15075141_9993.JPEG
  • <ROOT>/val/n01440764/ILSVRC2012_val_00000293.JPEG
  • <ROOT>/val/[...]
  • <ROOT>/val/n15075141/ILSVRC2012_val_00049174.JPEG
  • <ROOT>/labels.txt

提供的数据集实现期望在额外目录下存在几个额外的元数据文件：

  • <EXTRA>/class-ids-TRAIN.npy
  • <EXTRA>/class-ids-VAL.npy
  • <EXTRA>/class-names-TRAIN.npy
  • <EXTRA>/class-names-VAL.npy
  • <EXTRA>/entries-TEST.npy
  • <EXTRA>/entries-TRAIN.npy
  • <EXTRA>/entries-VAL.npy

这些元数据文件可以通过以下Python代码（一次性）生成：

from dinov2.data.datasets import ImageNet

for split in ImageNet.Split:
    dataset = ImageNet(split=split, root="<ROOT>", extra="<EXTRA>")
    dataset.dump_extra()

请注意，根目录和额外目录不必是不同的目录。

ImageNet-22k

请根据您的本地设置调整数据集类。

<br />

:warning: 要执行下一节中提供的用于训练和评估的命令，dinov2包应包含在Python模块搜索路径中，即只需在运行命令前加上PYTHONPATH=.前缀。

训练

快速设置：在ImageNet-1k上训练DINOv2 ViT-L/16

在SLURM集群环境中使用submitit在4个A100-80GB节点（32个GPU）上运行DINOv2训练：

python dinov2/run/train/train.py \
    --nodes 4 \
    --config-file dinov2/configs/train/vitl16_short.yaml \
    --output-dir <输出目录路径> \
    train.dataset_path=ImageNet:split=TRAIN:root=<数据集路径>:extra=<数据集路径>

训练时间大约为1天，最终的检查点应在k-NN评估中达到81.6%，在线性评估中达到82.9%。

训练代码每12500次迭代会在eval文件夹中保存教师的权重以供评估。

长期设置：在ImageNet-22k上训练DINOv2 ViT-L/14

在SLURM集群环境中使用submitit在12个A100-80GB节点(96个GPU)上运行DINOv2训练:

python dinov2/run/train/train.py \
    --nodes 12 \
    --config-file dinov2/configs/train/vitl14.yaml \
    --output-dir <输出目录路径> \
    train.dataset_path=ImageNet22k:root=<数据集路径>:extra=<数据集路径>

训练时间大约为3.3天，最终的检查点应在k-NN评估中达到82.0%，在线性评估中达到84.5%。

训练代码每12500次迭代会在eval文件夹中保存教师的权重以供评估。

评估

训练代码会定期保存教师权重。为了评估模型，在单个节点上运行以下评估:

在ImageNet-1k上进行k-NN分类

python dinov2/run/eval/knn.py \
    --config-file <输出目录路径>/config.yaml \
    --pretrained-weights <输出目录路径>/eval/training_24999/teacher_checkpoint.pth \
    --output-dir <输出目录路径>/eval/training_24999/knn \
    --train-dataset ImageNet:split=TRAIN:root=<数据集路径>:extra=<数据集路径> \
    --val-dataset ImageNet:split=VAL:root=<数据集路径>:extra=<数据集路径>

在ImageNet-1k上进行逻辑回归分类

python dinov2/run/eval/log_regression.py \
    --config-file <输出目录路径>/config.yaml \
    --pretrained-weights <输出目录路径>/eval/training_24999/teacher_checkpoint.pth \
    --output-dir <输出目录路径>/eval/training_24999/logreg \
    --train-dataset ImageNet:split=TRAIN:root=<数据集路径>:extra=<数据集路径> \
    --val-dataset ImageNet:split=VAL:root=<数据集路径>:extra=<数据集路径>

在ImageNet-1k上进行带数据增强的线性分类

python dinov2/run/eval/linear.py \
    --config-file <输出目录路径>/config.yaml \
    --pretrained-weights <输出目录路径>/eval/training_24999/teacher_checkpoint.pth \
    --output-dir <输出目录路径>/eval/training_24999/linear \
    --train-dataset ImageNet:split=TRAIN:root=<数据集路径>:extra=<数据集路径> \
    --val-dataset ImageNet:split=VAL:root=<数据集路径>:extra=<数据集路径>

我们发布了评估不同模型的权重:

<table style="margin: auto"> <tr> <th>模型</th> <th>带<br />寄存器</th> <th>ImageNet<br />top-1</th> <th>线性评估</th> </tr> <tr> <td>ViT-S/14 蒸馏</td> <td align="center">:x:</td> <td align="right">81.1%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_linear_head.pth">线性头权重</a></td> </tr> <tr> <td>ViT-S/14 蒸馏</td> <td align="center">:white_check_mark:</td> <td align="right">80.8%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_reg4_linear_head.pth">线性头权重</a></td> </tr> <tr> <td>ViT-B/14 蒸馏</td> <td align="center">:x:</td> <td align="right">84.5%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_linear_head.pth">线性头权重</a></td> </tr> <tr> <td>ViT-B/14 蒸馏</td> <td align="center">:white_check_mark:</td> <td align="right">84.4%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitb14/dinov2_vitb14_reg4_linear_head.pth">线性头权重</a></td> </tr> <tr> <td>ViT-L/14 蒸馏</td> <td align="center">:x:</td> <td align="right">86.3%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_linear_head.pth">线性头权重</a></td> </tr> <tr> <td>ViT-L/14 蒸馏</td> <td align="center">:white_check_mark:</td> <td align="right">86.5%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_linear_head.pth">线性头权重</a></td> </tr> <tr> <td>ViT-g/14</td> <td align="center">:x:</td> <td align="right">86.5%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_linear_head.pth">线性头权重</a></td> </tr> <tr> <td>ViT-g/14</td> <td align="center">:white_check_mark:</td> <td align="right">87.0%</td> <td><a href="https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_reg4_linear_head.pth">线性头权重</a></td> </tr> </table>

可以按如下方式在ImageNet-1k上评估所提供的预训练模型权重的性能:

python dinov2/run/eval/linear.py \
    --config-file dinov2/configs/eval/vitg14_pretrain.yaml \
    --pretrained-weights https://dl.fbaipublicfiles.com/dinov2/dinov2_vitg14/dinov2_vitg14_pretrain.pth \
    --train-dataset ImageNet:split=TRAIN:root=<数据集路径>:extra=<数据集路径> \
    --val-dataset ImageNet:split=VAL:root=<数据集路径>:extra=<数据集路径>

笔记本

提供了几个笔记本以帮助社区利用模型和代码:

<ul> <li><a href="https://github.com/facebookresearch/dinov2/blob/main/notebooks/depth_estimation.ipynb">深度估计</a> - 如何通过mmcv加载和使用深度头与匹配的主干网络结合</li> <li><a href="https://github.com/facebookresearch/dinov2/blob/main/notebooks/semantic_segmentation.ipynb">语义分割</a> - 如何通过mmcv加载和使用分割头与匹配的主干网络结合，以及如何加载和使用在ADE20K上训练的基于Mask2Former的分割模型</li> </ul>

许可证

DINOv2代码和模型权重根据Apache License 2.0发布。有关更多详细信息，请参阅LICENSE。

贡献

请参阅贡献指南和行为准则。

引用DINOv2

如果您发现这个仓库有用，请考虑给予星标:star:和引用:t-rex::

@misc{oquab2023dinov2,
  title={DINOv2: Learning Robust Visual Features without Supervision},
  author={Oquab, Maxime and Darcet, Timothée and Moutakanni, Theo and Vo, Huy V. and Szafraniec, Marc and Khalidov, Vasil and Fernandez, Pierre and Haziza, Daniel and Massa, Francisco and El-Nouby, Alaaeldin and Howes, Russell and Huang, Po-Yao and Xu, Hu and Sharma, Vasu and Li, Shang-Wen and Galuba, Wojciech and Rabbat, Mike and Assran, Mido and Ballas, Nicolas and Synnaeve, Gabriel and Misra, Ishan and Jegou, Herve and Mairal, Julien and Labatut, Patrick and Joulin, Armand and Bojanowski, Piotr},
  journal={arXiv:2304.07193},
  year={2023}
}

@misc{darcet2023vitneedreg,
  title={Vision Transformers Need Registers},
  author={Darcet, Timothée and Oquab, Maxime and Mairal, Julien and Bojanowski, Piotr},
  journal={arXiv:2309.16588},
  year={2023}
}

编辑推荐精选

Qwen2.5-VL

Qwen2.5-VL

一款强大的视觉语言模型，支持图像和视频输入

Qwen2.5-VL 是一款强大的视觉语言模型，支持图像和视频输入，可用于多种场景，如商品特点总结、图像文字识别等。项目提供了 OpenAI API 服务、Web UI 示例等部署方式，还包含了视觉处理工具，有助于开发者快速集成和使用，提升工作效率。

HunyuanVideo

HunyuanVideo

HunyuanVideo 是一个可基于文本生成高质量图像和视频的项目。

HunyuanVideo 是一个专注于文本到图像及视频生成的项目。它具备强大的视频生成能力，支持多种分辨率和视频长度选择，能根据用户输入的文本生成逼真的图像和视频。使用先进的技术架构和算法，可灵活调整生成参数，满足不同场景的需求，是文本生成图像视频领域的优质工具。

WebUI for Browser Use

WebUI for Browser Use

一个基于 Gradio 构建的 WebUI，支持与浏览器智能体进行便捷交互。

WebUI for Browser Use 是一个强大的项目，它集成了多种大型语言模型，支持自定义浏览器使用，具备持久化浏览器会话等功能。用户可以通过简洁友好的界面轻松控制浏览器智能体完成各类任务，无论是数据提取、网页导航还是表单填写等操作都能高效实现，有利于提高工作效率和获取信息的便捷性。该项目适合开发者、研究人员以及需要自动化浏览器操作的人群使用，在 SEO 优化方面，其关键词涵盖浏览器使用、WebUI、大型语言模型集成等，有助于提高网页在搜索引擎中的曝光度。

xiaozhi-esp32

xiaozhi-esp32

基于 ESP32 的小智 AI 开发项目，支持多种网络连接与协议，实现语音交互等功能。

xiaozhi-esp32 是一个极具创新性的基于 ESP32 的开发项目，专注于人工智能语音交互领域。项目涵盖了丰富的功能，如网络连接、OTA 升级、设备激活等，同时支持多种语言。无论是开发爱好者还是专业开发者，都能借助该项目快速搭建起高效的 AI 语音交互系统，为智能设备开发提供强大助力。

olmocr

olmocr

一个用于 OCR 的项目，支持多种模型和服务器进行 PDF 到 Markdown 的转换，并提供测试和报告功能。

olmocr 是一个专注于光学字符识别（OCR）的 Python 项目，由 Allen Institute for Artificial Intelligence 开发。它支持多种模型和服务器，如 vllm、sglang、OpenAI 等，可将 PDF 文件的页面转换为 Markdown 格式。项目还提供了测试框架和 HTML 报告生成功能，方便用户对 OCR 结果进行评估和分析。适用于科研、文档处理等领域，有助于提高工作效率和准确性。

飞书多维表格

飞书多维表格

飞书多维表格 ×DeepSeek R1 满血版

飞书多维表格联合 DeepSeek R1 模型，提供 AI 自动化解决方案，支持批量写作、数据分析、跨模态处理等功能，适用于电商、短视频、影视创作等场景，提升企业生产力与创作效率。关键词：飞书多维表格、DeepSeek R1、AI 自动化、批量处理、企业协同工具。

CSM

CSM

高质量语音生成模型

CSM 是一个开源的语音生成项目，它提供了一个基于 Llama-3.2-1B 和 CSM-1B 的语音生成模型。该项目支持多语言，可生成多种声音，适用于研究和教育场景。通过使用 CSM，用户可以方便地进行语音合成，同时项目还提供了水印功能，确保生成音频的可追溯性和透明度。

agents-course

agents-course

Hugging Face 的 AI 智能体课程，涵盖多种智能体框架及相关知识

本项目是 Hugging Face 推出的 AI 智能体课程，深入介绍了 AI 智能体的相关概念，如大语言模型、工具使用等。课程包含多个单元，详细讲解了不同的智能体框架，如 smolagents 和 LlamaIndex，提供了丰富的学习资源和实践案例。适合对 AI 智能体感兴趣的开发者和学习者，有助于提升他们在该领域的知识和技能。

RagaAI-Catalyst

RagaAI-Catalyst

用于 AI 项目管理和 API 交互的工具集，助力 AI 项目高效开发与管理。

RagaAI-Catalyst 是一款专注于 AI 领域的强大工具集，为开发者提供了便捷的项目管理、API 交互、令牌管理等功能。支持多 API 密钥上传，能快速创建、列出和管理 AI 项目，还可获取项目用例和指标信息。适用于各类 AI 开发场景，提升开发效率，推动 AI 项目顺利开展。

smolagents

smolagents

一个包含多种工具和文档处理功能，适用于 LLM 使用的项目。

smolagents 是一个功能丰富的项目，提供了如文件格式转换、网页内容读取、语义搜索等多种工具，支持将常见文件类型或网页转换为 Markdown，方便进行文档处理和信息提取，能满足不同场景下的需求，提升工作效率和数据处理能力。

下拉加载更多