BCI：通过金字塔Pix2pix生成乳腺癌免疫组织化学图像

项目主页 | Arxiv论文 | |

新闻

⚡(2022-10-20)：我们已发布在BCI和LLVIP数据集上训练的模型。
⚡(2022-6-29)：我们在Grand Challenge上举办了乳腺癌免疫组织化学图像生成竞赛！
⚡(2022-4-26)：我们已发布BCI数据集和PyramidPix2pix的代码。您可以从主页或以下链接下载BCI数据集。

数据集视图

框架

设置

1)环境

Linux
Python>=3.6
CPU或NVIDIA GPU + CUDA CuDNN

安装Python包

git clone https://github.com/bupt-ai-cz/BCI
cd PyramidPix2pix
pip install -r requirements.txt

2)准备数据集

从我们的主页下载BCI数据集。
合并HE和IHC图像。

pix2pix项目提供了一个Python脚本，用于生成pix2pix训练数据，形式为图像对{A,B}，其中A和B是同一底层场景的两种不同描述，可以是{HE, IHC}对。然后我们可以学习将A(HE图像)转换为B(IHC图像)。

创建文件夹/path/to/data，包含子文件夹A和B。A和B各自应有子文件夹train、val、test等。在/path/to/data/A/train中放置A风格的训练图像。在/path/to/data/B/train中放置相应的B风格图像。对其他数据分割(val、test等)重复相同操作。

图像对{A,B}中的对应图像必须大小相同且文件名相同，例如，/path/to/data/A/train/1.jpg被认为对应于/path/to/data/B/train/1.jpg。一旦数据格式化完成，调用以下命令：

python datasets/combine_A_and_B.py --fold_A /path/to/data/A --fold_B /path/to/data/B --fold_AB /path/to/data

这将把每对图像(A,B)合并成一个单独的图像文件，为训练做好准备。

文件结构

PyramidPix2pix
    ├──datasets
         ├── BCI
               ├──train
               |    ├── 00000_train_1+.png
               |    ├── 00001_train_3+.png
               |    └── ...
               └──test
                    ├── 00000_test_1+.png
                    ├── 00001_test_2+.png
                    └── ...

训练

以全分辨率(1024*1024)训练：

python train.py --dataroot ./datasets/BCI --gpu_ids 0 --pattern L1_L2_L3_L4

默认情况下，金字塔的四个尺度用于监督。您可以更改选项--pattern以使用更少的尺度（例如--pattern L1_L2_L3）。

以512*512分辨率训练（需要更少的GPU内存）：

python train.py --dataroot ./datasets/BCI --preprocess crop --crop_size 512 --gpu_ids 0 --pattern L1_L2_L3_L4

如果在低分辨率下训练，图像会被随机裁剪。

测试

以全分辨率(1024*1024)测试：

python test.py --dataroot ./datasets/BCI --gpu_ids 0

以512*512分辨率测试：

python test.py --dataroot ./datasets/BCI --preprocess crop --crop_size 512 --gpu_ids 0

更多训练和测试选项请参见PyramidPix2pix/options。

评估

计算平均PSNR和SSIM。

python evaluate.py --result_path ./results/pyramidpix2pix

预训练模型

数据集	设备	骨干网络	PSNR	SSIM	模型
BCI	Tesla V100-32GB	resnet_9	21.16	0.477	下载
LLVIP	Tesla V100-32GB	resnet_9	12.189	0.279	下载

结果

[图片]

[图片]	[图片]
[图片]	[图片]

引用

@InProceedings{Liu_2022_CVPR,
    author    = {Liu, Shengjie and Zhu, Chuang and Xu, Feng and Jia, Xinyu and Shi, Zhongyue and Jin, Mulan},
    title     = {BCI: Breast Cancer Immunohistochemical Image Generation Through Pyramid Pix2pix},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2022},
    pages     = {1815-1824}
}