EVF-SAM

<div align ="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/853320d6-4b13-4729-9aab-45038501dafe.jpg" width="20%"> <h1> 📷 EVF-SAM </h1> <h3> 用于文本提示分割任意物体模型的早期视觉语言融合 </h3>

张宇轩1,*, 程天恒1,*, 刘磊2, 刘恒2, 冉龙进2, 陈晓鑫2, 刘文预1, 王兴刚1,📧

1 华中科技大学, 2 vivo AI 实验室

(* 贡献相同, 📧 通讯作者)

</div>

新闻

我们已将EVF-SAM扩展到强大的SAM-2。除了在图像预测方面的改进外，我们的新模型在视频预测方面（由SAM-2驱动）也表现出色。仅仅通过在RES数据集上进行简单的图像训练过程，我们发现我们的EVF-SAM具有零样本视频文本提示能力。试试我们的代码吧！

亮点

EVF-SAM通过文本提示分割扩展了SAM的功能，在指代表达分割任务中实现了高准确率。
EVF-SAM设计用于高效计算，能够在T4 GPU上实现每张图像几秒钟的快速推理。

更新

可视化

<table class="center"> <tr> <td style="text-align:center;">输入文本</td> <td style="text-align:center;">输入图像</td> <td style="text-align:center;">输出</td> </tr> <tr> <td width=20% style="text-align:center;">"左上角的斑马"</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/61c7d918-e5be-4587-bfcc-9534c1a798ce.jpg"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/f493ea45-d7d2-47ae-80ea-a7c9a41fd1b6.png"></td> </tr> <tr> <td width=20% style="text-align:center;">"上面有黄色标志的披萨"</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/5d55eaba-d6cf-4198-ad53-db8c79ac7cf8.jpg"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/f0947fa1-3d74-4e63-9c1d-a63c89ca88d1.png"></td> </tr> <tr> <td width=20% style="text-align:center;">"最靠近番茄酱瓶的西兰花"</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/648086e8-ffd2-4585-9062-c1e26908750f.jpg"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/d8db8a00-6c62-4b32-9f93-bda64ff12123.png"></td> </tr> <tr> <td width=20% style="text-align:center;">"开往南部公共区域的公交车"</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/069f558e-6288-484d-a7a7-62333ca88f90.jpg"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/c3b98ce0-60dc-41c3-9786-333ef0990640.png"></td> </tr> <tr> <td width=20% style="text-align:center;">"中间3根带冰和绿叶的胡萝卜"</td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/9f73f1bd-0fa1-4971-87d2-0255b4e2e208.jpg"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/bd2fd1de-d4c5-4df5-a2b9-3c1a750e4de2.png"></td> </tr> </table>

安装

克隆此仓库
根据你的CUDA版本安装pytorch。注意，如果你要使用SAM-2，需要torch>=2.0.0，如果你想启用flash-attention，需要torch>=2.2。（我们使用torch==2.0.1和CUDA 11.7，运行良好。）
pip install -r requirements.txt
如果你要使用视频预测功能，请运行：

cd model/segment_anything_2
python setup.py build_ext --inplace

权重

<table class="center"> <tr> <td style="text-align:center;">名称</td> <td style="text-align:center;">SAM</td> <td style="text-align:center;">BEIT-3</td> <td style="text-align:center;">参数</td> <td style="text-align:center;">提示编码器 & 掩码解码器 <td style="text-align:center;">参考分数</td> </tr> <tr> <td style="text-align:center;"><a href="https://huggingface.co/YxZhang/evf-sam2">EVF-SAM2</a></td> <td style="text-align:center;">SAM-2-L</td> <td style="text-align:center;">BEIT-3-L</td> <td style="text-align:center;">898M</td> <td style="text-align:center;">冻结</td> <td style="text-align:center;">83.6</td> </tr> <tr> <td style="text-align:center;"><a href="https://huggingface.co/YxZhang/evf-sam">EVF-SAM</a></td> <td style="text-align:center;">SAM-H</td> <td style="text-align:center;">BEIT-3-L</td> <td style="text-align:center;">1.32B</td> <td style="text-align:center;">训练</td> <td style="text-align:center;">83.7</td> </tr> <tr> <td style="text-align:center;">EVF-Effi-SAM-L </td> <td style="text-align:center;">EfficientSAM-S</td> <td style="text-align:center;">BEIT-3-L</td> <td style="text-align:center;">700M</td> <td style="text-align:center;">训练</td> <td style="text-align:center;">83.5</td> </tr> <tr> <td style="text-align:center;">EVF-Effi-SAM-B </td> <td style="text-align:center;">EfficientSAM-T</td> <td style="text-align:center;">BEIT-3-B</td> <td style="text-align:center;">232M</td> <td style="text-align:center;">训练</td> <td style="text-align:center;">80.0</td> </tr> </table>

推理

1. 图像预测

python inference.py  \
  --version <evf-sam路径> \
  --precision='fp16' \
  --vis_save_path "<输出目录路径>" \
  --model_type <"ori" 或 "effi" 或 "sam2", 取决于你加载的检查点>   \
  --image_path <输入图像路径> \
  --prompt <自定义文本提示>

--load_in_8bit 和 --load_in_4bit 是可选的
例如：

python inference.py  \
  --version evf-sam2 \
  --precision='fp16' \
  --vis_save_path "vis" \
  --model_type sam2   \
  --image_path "assets/zebra.jpg" \
  --prompt "左上方的斑马"

2. 视频预测

首先将视频切分为帧

ffmpeg -i <你的视频>.mp4 -q:v 2 -start_number 0 <帧目录>/'%05d.jpg'

然后：

python inference_video.py  \
  --version <evf-sam2路径> \
  --precision='fp16' \
  --vis_save_path "vis/" \
  --image_path <帧目录>   \
  --prompt <自定义文本提示>   \
  --model_type sam2

你可以使用frame2video.py将预测的帧连接成视频。

演示

图像演示

python demo.py <evf-sam路径>

视频演示

python demo_video.py <evf-sam2路径>

数据准备

指代分割数据集：refCOCO、refCOCO+、refCOCOg、refCLEF（saiapr_tc-12）和COCO2014train

├── dataset
│   ├── refer_seg
│   │   ├── images
│   │   |   ├── saiapr_tc-12 
│   │   |   └── mscoco
│   │   |       └── images
│   │   |           └── train2014
│   │   ├── refclef
│   │   ├── refcoco
│   │   ├── refcoco+
│   │   └── refcocog

评估

torchrun --standalone --nproc_per_node <GPU数量> eval.py   \
    --version <evf-sam路径> \
    --dataset_dir <数据根目录路径>   \
    --val_dataset "refcoco|unc|val" \
    --model_type <"ori" 或 "effi" 或 "sam2", 取决于你加载的检查点>

致谢

我们借鉴了LISA、unilm、SAM、EfficientSAM、SAM-2的部分代码。

引用

@article{zhang2024evfsamearlyvisionlanguagefusion,
      title={EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model}, 
      author={Yuxuan Zhang and Tianheng Cheng and Rui Hu and Lei Liu and Heng Liu and Longjin Ran and Xiaoxin Chen and Wenyu Liu and Xinggang Wang},
      year={2024},
      eprint={2406.20076},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2406.20076}, 
}