CLIP-ReID

CLIP-ReID: 利用视觉-语言模型进行图像重识别而无需具体文本标签 [pdf]

流程

安装

conda create -n clipreid python=3.8
conda activate clipreid
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=10.2 -c pytorch
pip install yacs
pip install timm
pip install scikit-image
pip install tqdm
pip install ftfy
pip install regex

准备数据集

下载数据集（Market-1501、MSMT17、DukeMTMC-reID、Occluded-Duke、VehicleID、VeRi-776），然后将它们解压到 your_dataset_dir。

训练

例如，如果你想为Market-1501运行基于CNN的CLIP-ReID基线，你需要修改configs/person/cnn_base.yml底部为

DATASETS:
   NAMES: ('market1501')
   ROOT_DIR: ('your_dataset_dir')
OUTPUT_DIR: 'your_output_dir'

然后运行

CUDA_VISIBLE_DEVICES=0 python train.py --config_file configs/person/cnn_base.yml

如果你想为MSMT17运行基于ViT的CLIP-ReID，你需要修改configs/person/vit_clipreid.yml底部为

DATASETS:
   NAMES: ('msmt17')
   ROOT_DIR: ('your_dataset_dir')
OUTPUT_DIR: 'your_output_dir'

然后运行

CUDA_VISIBLE_DEVICES=0 python train_clipreid.py --config_file configs/person/vit_clipreid.yml

如果你想为MSMT17运行基于ViT的CLIP-ReID+SIE+OLP，运行：

CUDA_VISIBLE_DEVICES=0 python train_clipreid.py --config_file configs/person/vit_clipreid.yml  MODEL.SIE_CAMERA True MODEL.SIE_COE 1.0 MODEL.STRIDE_SIZE '[12, 12]'

评估

例如，如果你想测试MSMT17的基于ViT的CLIP-ReID

CUDA_VISIBLE_DEVICES=0 python test_clipreid.py --config_file configs/person/vit_clipreid.yml TEST.WEIGHT 'your_trained_checkpoints_path/ViT-B-16_60.pth'

致谢

代码库来自TransReID、CLIP和CoOp。

veri776视角标签来自 https://github.com/Zhongdao/VehicleReIDKeyPointData。

训练模型和测试日志

经过重新排序后，ViT-CLIP-ReID-SIE-OLP 在 MSMT17 数据集上达到了 86.7% 的 mAP 和 91.1% 的 R1。

引用

如果您在研究中使用了此代码，请引用：

@article{li2022clip,
  title={CLIP-ReID: 在没有具体文本标签的情况下利用视觉-语言模型进行图像重识别},
  author={李思远 and 孙力 and 李清丽},
  journal={arXiv 预印本 arXiv:2211.13977},
  year={2022}
}