CellViT:基于视觉Transformer的精确细胞分割与分类方法

CellViT是由德国埃森大学医院人工智能医学研究所(IKIM)开发的一种新型深度学习方法,用于对数字化组织样本中的细胞核进行自动化实例分割。这项研究成果发表在Medical Image Analysis期刊上,论文题为《CellViT: Vision Transformers for precise cell segmentation and classification》。

研究背景与意义

在血细胞和嗜酸性组织(H&E)染色的组织图像中进行细胞核检测和分割是一项重要的临床任务,对于许多应用来说都至关重要。然而,由于细胞核在染色和大小上的变异性,以及细胞核边界重叠和聚集等因素,这项任务仍然具有挑战性。虽然卷积神经网络已被广泛应用于该任务,但研究人员开始探索基于Transformer的网络在这一领域的潜力。

CellViT方法简介

CellViT是一种基于视觉Transformer的深度学习架构,用于对数字化组织样本中的细胞核进行自动化实例分割。该方法在PanNuke数据集上进行了训练和评估,这是一个具有挑战性的细胞核实例分割数据集,包含了19种组织类型中近20万个带注释的细胞核,分为5个临床重要类别。

CellViT网络架构

CellViT的主要特点包括:

视觉Transformer编码器:项目采用了预训练的视觉Transformer(ViT)编码器,这种编码器在各种计算机视觉任务中都表现出色。这一选择提高了CellViT的分割性能。
U-Net架构:CellViT采用了U-Net形状的编码器-解码器网络结构,可以高效准确地进行细胞核实例分割。该网络架构有助于提取高层和低层特征,从而改善分割结果。
加权采样策略:为了提高CellViT的性能,研究人员引入了一种新的加权采样策略。这一策略改善了对具有挑战性的细胞核实例的表示,从而得到更准确的分割结果。
千兆像素WSI快速推理:该框架通过使用1024×1024像素的大型推理patch尺寸(相比传统的256像素patch),实现了快速推理。这种方法能够高效分析千兆像素级别的全扫描图像(WSI),并生成可本地化的深度特征,为下游任务提供潜在价值。

实验结果与性能

CellViT在PanNuke数据集上实现了最先进的细胞核检测和实例分割性能:

平均全景质量(PQ):0.51
F1检测分数:0.83

研究人员通过利用最近发布的Segment Anything Model(SAM)和在1.04亿个组织学图像patch上预训练的ViT编码器,展示了大规模领域内和领域外预训练的视觉Transformer的优越性。

PanNuke数据集上的结果示例

开源与应用

CellViT项目的代码已在GitHub上开源(https://github.com/TIO-IKIM/CellViT),研究人员可以自由使用和改进这一方法。项目提供了详细的安装指南、使用说明和预处理流程,方便其他研究人员复现结果和在自己的数据集上应用CellViT。

此外,研究团队还提供了预训练模型的下载链接,包括:

CellViT-SAM-H
CellViT-256
CellViT-SAM-H-x20
CellViT-256-x20

这些模型使用了90%的所有折叠数据进行训练,采用了论文中描述的设置。

未来展望

CellViT项目团队目前正在优化推理速度,相关代码将在未来几周内更新。此外,他们计划在未来的版本中提供一个Docker镜像,其中包含所有必要的依赖项和预安装的配置。这个Docker镜像将确保可重复性并简化设置过程,允许轻松安装和使用该项目。

总的来说,CellViT为细胞核实例分割任务提供了一种强大而灵活的解决方案。通过结合视觉Transformer的优势和创新的网络架构设计,CellViT在challenging的PanNuke数据集上取得了优异的性能。这项研究不仅推动了医学图像分析领域的发展,也为其他领域的实例分割任务提供了新的思路和方法。随着项目的持续改进和社区的参与,CellViT有望在未来发挥更大的作用,为医学研究和临床实践做出重要贡献。