UltraDet

这是《挖掘负时间上下文以抑制实时超声病变检测中的假阳性》的官方实现。我们提供了一种实时乳腺超声检测解决方案，可以在0.90的召回率下减少约50%的假阳性。此外，我们还为CVA-Net乳腺超声视频数据集提供了高质量的边界框标注。我们的论文已被MICCAI 2023提前接收！

[Arxiv] [PDF] [代码]

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/bc572c34-2d57-45b0-a486-e217bc0fc9fc.png" width="100%"/> </div>

论文摘要

在超声扫描过程中，实时病变检测可以帮助放射科医生进行准确的癌症诊断。然而，这项重要任务仍然具有挑战性且未得到充分研究。当应用于超声视频时，通用实时目标检测模型可能会错误地报告明显的假阳性（FPs），可能会误导初级放射科医生。一个关键问题是它们未能利用先前帧中的负症状，即负时间上下文（NTC）。为解决这个问题，我们提出在逆向光流的引导下从先前帧中提取上下文，包括NTC。通过聚合提取的上下文，我们赋予模型利用NTC抑制假阳性的能力。我们将由此产生的模型称为UltraDet。所提出的UltraDet相比之前的最先进方法展现出显著改进，并实现了实时推理速度。

实验结果

NTCA模块利用了对放射科医生至关重要但在之前工作中被忽视的RoI级NTC，从而以可靠和可解释的方式有效提高了检测性能。我们将NTCA模块插入到基本的实时检测器中，形成UltraDet。在CVA-BUS数据集上的实验表明，UltraDet在实时推理速度下显著优于之前的工作，在0.90的召回率下减少了约50%的假阳性。

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/d1858d2f-bed8-4f19-b28e-6208a1f14aee.png" width="100%"/> </div> <center> <table> <caption>CVA-BUS上实时病变检测的定量结果。</caption> <thead> <tr> <th>模型</th> <th>类型</th> <th>Pr₈₀</th> <th>Pr₉₀</th> <th>FP₈₀</th> <th>FP₉₀</th> <th>AP₅₀</th> <th>R@16</th> <th>FPS</th> <th>模型权重</th> </tr> </thead> <tbody> <tr> <td colspan="10" style="text-align: center;">单阶段检测器</td> </tr> <tr> <td>YOLOX</td> <td>图像</td> <td>69.7_3.7</td> <td>43.4_7.7</td> <td>23.8_4.8</td> <td>87.6_24.5</td> <td>80.4_1.6</td> <td>97.5_0.5</td> <td><b>59.8</b></td> <td style="text-align: center;">-</td> </tr> <tr> <td>RetinaNet</td> <td>图像</td> <td>75.7_2.5</td> <td>57.2_2.9</td> <td>9.3_2.0</td> <td>32.8_6.5</td> <td>84.5_1.0</td> <td>95.1_0.6</td> <td>53.6</td> <td style="text-align: center;">-</td> </tr> <tr> <td>FCOS</td> <td>图像</td> <td>87.2_2.2</td> <td>72.2_5.1</td> <td>11.0_2.4</td> <td>23.0_3.7</td> <td>89.5_1.4</td> <td>98.8_0.3</td> <td>56.1</td> <td style="text-align: center;">-</td> </tr> <tr> <td>DeFCN</td> <td>图像</td> <td>81.5_1.8</td> <td>67.5_2.3</td> <td>21.1_3.2</td> <td>33.4_4.3</td> <td>86.4_1.3</td> <td><b>99.3</b>_0.3</td> <td>51.2</td> <td style="text-align: center;">-</td> </tr> <tr> <td>Track-YOLO</td> <td>视频</td> <td>75.1_2.7</td> <td>47.0_3.1</td> <td>18.1_1.9</td> <td>74.2_14.7</td> <td>80.1_1.0</td> <td>94.7_0.9</td> <td>46.0</td> <td style="text-align: center;">-</td> </tr> <tr> <td colspan="10" style="text-align: center;">基于DETR的检测器</td> </tr> <tr> <td>DeformDETR</td> <td>图像</td> <td>90.1_3.2</td> <td>72.7_10.6</td> <td>5.6_2.2</td> <td>37.8_20.9</td> <td>90.5_2.0</td> <td>98.7_0.3</td> <td>33.8</td> <td style="text-align: center;">-</td> </tr> <tr> <td>TransVOD</td> <td>视频</td> <td>92.5_2.2</td> <td>77.5_7.2</td> <td>3.1_1.3</td> <td>23.7_11.5</td> <td>90.1_1.8</td> <td>98.4_0.4</td> <td>24.2</td> <td style="text-align: center;">-</td> </tr> <tr> <td>CVA-Net</td> <td>视频</td> <td>92.3_2.6</td> <td>80.2_6.1</td> <td>4.7_2.6</td> <td>19.6_5.6</td> <td><strong>91.6</strong>_1.9</td> <td>98.6_0.8</td> <td>23.1</td> <td style="text-align: center;">-</td> </tr> <tr> <td>PTSEFormer</td> <td>视频</td> <td>93.3_1.9</td> <td>85.4_6.0</td> <td>2.8_1.1</td> <td>12.5_9.8</td> <td>91.5_1.6</td> <td>97.9_1.2</td> <td>9.1</td> <td style="text-align: center;">-</td> </tr> <tr> <td colspan="10" style="text-align: center;">基于FasterRCNN的检测器</td> </tr> <td>FasterRCNN</td> <td>图像</td> <td>91.3_0.9</td> <td>75.2_3.6</td> <td>6.9_1.4</td> <td>34.4_6.7</td> <td>88.0_1.4</td> <td>92.4_1.0</td> <td>49.2</td> <td style="text-align: center;">-</td> </tr> <tr> <td>RelationNet</td> <td>图像</td> <td>91.4_1.3</td> <td>79.2_2.9</td> <td>6.2_2.0</td> <td>24.4_5.6</td> <td>87.6_1.7</td> <td>92.4_0.9</td> <td>42.7</td> <td style="text-align: center;">-</td> </tr> <tr> <td>FGFA</td> <td>视频</td> <td>92.9_1.5</td> <td>82.2_4.1</td> <td>4.4_1.6</td> <td>13.3_3.7</td> <td>90.5_1.1</td> <td>93.6_0.9</td> <td>33.8</td> <td style="text-align: center;">-</td> </tr> <tr> <td>SELSA</td> <td>视频</td> <td>91.6_1.7</td> <td>80.2_2.5</td> <td>7.5_1.5</td> <td>23.3_5.5</td> <td>89.2_1.1</td> <td>92.6_0.8</td> <td>43.8</td> <td style="text-align: center;">-</td> </tr> <tr> <td>MEGA</td> <td>视频</td> <td>93.9_1.5</td> <td>86.9_2.3</td> <td>3.1_1.7</td> <td>11.7_3.0</td> <td>90.9_1.0</td> <td>93.6_0.7</td> <td>40.2</td> <td style="text-align: center;">-</td> </tr> <tr> <td>BasicDet (RDN)</td> <td>视频</td> <td>92.4_1.0</td> <td>83.6_2.2</td> <td>3.8_1.2</td> <td>13.4_3.2</td> <td>88.7_1.4</td> <td>92.7_0.6</td> <td>42.2</td> <td style="text-align: center;">-</td> </tr> <tr> <td>UltraDet (本文)</td> <td>视频</td> <td><strong>95.7_1.2</strong></td> <td><strong>90.8_1.4</strong></td> <td><strong>1.9_0.4</strong></td> <td><strong>5.7_1.6</strong></td> <td><strong>91.6_1.6</strong></td> <td>93.8_1.3</td> <td>30.4</td> <td style="text-align: center;"><a href="https://github.com/HaojunYu1998/UltraDet/releases/download/Publish/ultradet.pth">链接</a></td> </tr> </table> </center> ## 引用 UltraDet

如果您在研究中发现 UltraDet 有用,请引用我们的论文:

@article{yu2023mining,
  title={Mining Negative Temporal Contexts For False Positive Suppression In Real-Time Ultrasound Lesion Detection},
  author={Yu, Haojun and Li, Youcheng and Wu, QuanLin and Zhao, Ziwei and Chen, Dengbo and Wang, Dong and Wang, Liwei},
  journal={arXiv preprint arXiv:2305.18060},
  year={2023}
}

环境要求

整个项目基于 detectron2。

安装

# 使用 python3.9 安装 anaconda3
conda create -n <env_name> python=3.9
conda activate <env_name>

# 使用清华源作为 pypi 源（可选）
python -m pip install --upgrade pip

# 安装软件包
conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge
python -m pip install detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu113/torch1.10/index.html
pip install pandas
pip install path
pip install sqlmodel
pip install coloredlogs
pip install opencv-p
pip install mmcv
pip install prettytable
pip install fire
pip install scipy
pip install timm

# 安装 ultrasound_vid
git clone https://github.com/HaojunYu1998/UltraDet.git
cd UltraDet
pip install -e .

# 问题解决
# AttributeError: module 'distutils' has no attribute 'version'
pip uninstall setuptools
pip install setuptools==58.0.4

检查点

我们很高兴分享 UltraDet 推理所需的模型权重。您可以通过以下链接获取它们：

<center> <table> <thead> <tr> <th>权重</th> </tr> </thead> <tbody> <tr> <td><a href="https://github.com/HaojunYu1998/UltraDet/releases/download/Publish/flownet.ckpt">flownet.ckpt</a></td> </tr> <tr> <td><a href="https://github.com/HaojunYu1998/UltraDet/releases/download/Publish/r34.pkl">r34.pkl</a></td> </tr> <tr> <td><a href="https://github.com/HaojunYu1998/UltraDet/releases/download/Publish/ultradet.pth">ultradet.pth</a></td> </tr> </tbody> </table> </center>

下载权重后，请将它们存储在以下路径中：

UltraDet/
  pretrained_models/
    flownet.ckpt
    r34.pkl
    ultradet.pth

数据集准备

我们提供高质量的标注文件。您可以通过以下链接获取它们：

<center> <table> <thead> <tr> <th>Json 文件</th> </tr> </thead> <tbody> <tr> <td><a href="https://github.com/HaojunYu1998/UltraDet/releases/download/Publish/test.json">test.json</a></td> </tr> <tr> <td><a href="https://github.com/HaojunYu1998/UltraDet/releases/download/Publish/trainval.json">trainval.json</a></td> </tr> </tbody> </table> </center>

请从 CVA-Net 下载 PNG 图像，并按照 COCO 格式整理图像和标签。如果您遇到任何与数据相关的问题，请通过 haojunyu@pku.edu.cn 联系我们。

注意：CVA-Net 数据集的作者已经对良性/恶性分类标注进行了修正（请参见 CVA-Net）。要使用我们的高质量标注，请首先在 rawframes/ 中更正视频和图像位置。

UltraDet/
  datasets/
    bus_data_cva/
      rawframes/
        benign/
          2cda21c3aab26332/
            000000.png
            000001.png
            ...
          ...
        malignant/
          1dc9ca2f1748c2ec/
            000000.png
            000001.png
            ...
          ...
      test.json
      trainval.json

训练和推理

您可以通过运行以下代码来训练或推理 UltraDet：

# 训练
python train_net.py --num-gpus {GPU_NUM} \
--config-file {CONFIG_FILES}

# 验证
python train_net.py --num-gpus {GPU_NUM} --eval-only --resume \
--config-file {CONFIG_FILES}

# 测试
python train_net.py --num-gpus {GPU_NUM} --eval-only  --resume \
--config-file {CONFIG_FILES} \
DATASETS.SPLIT "test" \
DATASETS.NUM_FOLDS 1 \
# MODEL.WEIGHTS 'pretrained_models/ultradet.pth' # 如果您希望加载我们发布的 UltraDet 预训练权重，请包含此行代码