超越自注意力:用于医学图像分割的可变形大核注意力 WACV 2024

我们提出了一种名为**可变形大核注意力(D-LKA Attention)**的新方法来改进医学图像分割。该方法使用大型卷积核高效捕获体积上下文,避免了过高的计算需求。D-LKA Attention还借助可变形卷积来适应不同的数据模式。我们创建了2D和3D两个版本,其中3D版本在跨深度数据理解方面表现出色。这构成了我们新的分层Vision Transformer架构D-LKA Net的基础,该架构在常用医学分割数据集(Synapse、NIH胰腺和皮肤病变)上的表现优于现有方法。

Reza Azad, Leon Niggemeier, Michael Hüttemann, Amirhossein Kazerouni, Ehsan Khodapanah Aghdam, Yury Velichko, Ulas Bagci 和 Dorit Merhof

💥 新闻 💥

2023年10月24日 | 被WACV 2024接收! 🥳
2023年10月16日 | 发布2D、3D Synapse权重和3D胰腺权重。

结果

2D Synapse数据集

在腹部多器官Synapse数据集上与2D方法的最新技术对比。显示了所有模型的复杂度和性能(DSC, HD95)。所提出的2D D-LKA Net达到了优越的分割性能。缩写代表:Spl: 脾脏, RKid: 右肾, LKid: 左肾, Gal: 胆囊, Liv: 肝脏, Sto: 胃, Aor: 主动脉, Pan: 胰腺。最佳结果用<h style="color:blue;">蓝色</h>显示,第二好的用<h style="color:red;">红色</h>显示。 Synapse 2D结果

3D Synapse数据集

在腹部多器官Synapse数据集上与3D方法的最新技术对比。显示了所有模型的复杂度和性能(DSC, HD95)。所提出的3D D-LKA Net达到了优越的分割性能。我们的模型也相当小,参数数量最少。缩写代表:Spl: 脾脏, RKid: 右肾, LKid: 左肾, Gal: 胆囊, Liv: 肝脏, Sto: 胃, Aor: 主动脉, Pan: 胰腺。最佳结果用<h style="color:blue;">蓝色</h>显示,第二好的用<h style="color:red;">红色</h>显示。 Synapse 3D结果

定性结果

虽然2D版本与其他2D模型相比取得了很好的分割结果,但主要局限性在于缺乏切片间的连接。在这里,3D模型实现了更好的分割效果。

2D说明

有关2D方法的详细说明,请参阅2D文件夹中的Readme。

3D说明

有关3D方法的详细说明,请参阅3D文件夹中的Readme。

致谢

该存储库基于nnFormer、UNETR++、transnorm、MCF、D3D构建。我们感谢这些作者提供的代码库。

查询

所有实现均由Leon Niggemeier完成。如有任何疑问,请联系我们以获取更多信息。

leon.niggemeier@rwth-aachen.de

引用

@article{azad2023beyond,
  title={Beyond Self-Attention: Deformable Large Kernel Attention for Medical Image Segmentation},
  author={Azad, Reza and Niggemeier, Leon and Huttemann, Michael and Kazerouni, Amirhossein and Aghdam, Ehsan Khodapanah and Velichko, Yury and Bagci, Ulas and Merhof, Dorit},
  journal={arXiv preprint arXiv:2309.00121},
  year={2023}
}