SegVol: 通用和交互式体积医学图像分割

</div>

SegVol是一个通用和交互式的体积医学图像分割模型。SegVol接受点、框和文本提示，输出体积分割结果。通过在90,000个未标记的计算机断层扫描(CT)体积和6,000个已标记的CT上进行训练，这个基础模型支持200多个解剖类别的分割。

我们已经发布了SegVol的推理代码、训练代码、模型参数和ViT预训练参数（预训练在96,000个CT上进行了2,000轮）。

关键词: 3D医学SAM，体积图像分割

快速入门：实现简易训练和测试

🌟快速入门使用ModelScope（无需代理）

🌟快速入门使用HuggingFace

从源代码开始

要求

首先需要pytorch v1.11.0（或更高版本）。使用以下命令安装关键依赖：

pip install 'monai[all]==0.9.0'
pip install einops==0.6.1
pip install transformers==4.18.0
pip install matplotlib

训练和推理指南

如何推理一个演示案例。

如何训练SegVol。

如何使用我们的预训练ViT作为您的模型编码器。

涉及的数据集

🌟25个处理过的数据集正在上传到ModelScope/魔搭社区和HuggingFace。

原始数据集链接：

数据集	链接
3D-IRCADB	https://www.kaggle.com/datasets/nguyenhoainam27/3dircadb
AbdomenCT-1k	https://github.com/JunMa11/AbdomenCT-1K
AMOS22	https://amos22.grand-challenge.org/
BTCV	https://www.synapse.org/\#!Synapse:syn3193805/wiki/217752
CHAOS	https://chaos.grand-challenge.org/
CT-ORG	https://wiki.cancerimagingarchive.net/pages/viewpage.action?pageId=61080890
FLARE22	https://flare22.grand-challenge.org/
HaN-Seg	https://han-seg2023.grand-challenge.org/
KiPA22	https://kipa22.grand-challenge.org/
KiTS19	https://kits19.grand-challenge.org/
KiTS23	https://kits-challenge.org/kits23/
LUNA16	https://luna16.grand-challenge.org/Data/
MSD-Colon	http://medicaldecathlon.com/
MSD-HepaticVessel	http://medicaldecathlon.com/
MSD-Liver	http://medicaldecathlon.com/
MSD-lung	http://medicaldecathlon.com/
MSD-pancreas	http://medicaldecathlon.com/
MSD-spleen	http://medicaldecathlon.com/
Pancreas-CT	https://wiki.cancerimagingarchive.net/display/public/pancreas-ct
QUBIQ	https://qubiq.grand-challenge.org/
SLIVER07	https://sliver07.grand-challenge.org/
TotalSegmentator	https://github.com/wasserth/TotalSegmentator
ULS23	https://uls23.grand-challenge.org/
VerSe19	https://osf.io/nqjyw/
VerSe20	https://osf.io/t98fz/
WORD	https://paperswithcode.com/dataset/word

SegVol的网页工具 📽

https://github.com/BAAI-DCAI/SegVol/assets/60123629/242a1578-e418-463c-9d53-a62eeb154c7d

🏆内部验证性能（Dice分数）

<div align="center"> ![github(7)](https://github.com/BAAI-DCAI/SegVol/assets/60123629/a578a66a-ddef-457a-8bf7-9ca5c8a9ba1c) </div>

🏆外部验证性能（Dice分数）

github(9)

</div>

我们使用ULS23挑战赛的新标注数据集（750 + 744 + 124例病变案例）和Amos22的验证数据集（120例器官案例）进行了外部验证实验。与其他医学SAM方法相比，SegVol在准确分割病变和15个重要器官方面表现出强大的分割能力。

可视化🔍

数据集（已发布）

页-2

内部验证

页-1

外部验证

vis

新闻🚀

(2024.01.03) 已报告零样本实验的雷达图。 🏆

(2023.12.25) 我们的网页工具现在支持下载结果！您可以将其作为在线工具使用。 🔥🔥🔥

(2023.12.15) 训练代码已上传！

(2023.12.04) SegVol的网页工具在这里！尽情享用吧！ 🔥🔥🔥

(2023.11.28) 我们的模型和演示案例已在huggingface/BAAI/SegVol开源。 🤗🤗

(2023.11.28) 预训练ViT的使用方法已上传。

(2023.11.24) 您可以从huggingface/BAAI/SegVol或Google Drive下载SegVol和ViT（CT预训练）的权重文件。 🔥🔥🔥

(2023.11.23) 简介和说明已上传。

(2023.11.23) 推理演示代码已上传。

(2023.11.22) 我们论文的第一版已上传至arXiv。 📃

引用

如果您觉得这个仓库有帮助，请考虑引用：

@article{du2023segvol,
  title={SegVol: Universal and Interactive Volumetric Medical Image Segmentation},
  author={Du, Yuxin and Bai, Fan and Huang, Tiejun and Zhao, Bo},
  journal={arXiv preprint arXiv:2311.13385},
  year={2023}
}