XrayGPT：使用医疗视觉语言模型对胸部X光片进行概括。

Omkar Thawakar* , Abdelrahman Shaker* , Sahal Shaji Mullappilly* , Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Jorma Laaksonen, 和 Fahad Shahbaz Khan。

*平等贡献

阿联酋摩罕默德·本·扎耶德人工智能大学

:rocket: 新闻

<hr>

8月4日: 我们的论文已被BIONLP-ACL 2024接受 :fire:
6月14日: 我们的技术报告已发布 here. :fire::fire:
5月25日: 我们的技术报告将很快发布。敬请关注!
5月19日: 我们的代码、模型和预处理的报告概要已发布。

在线演示

您可以使用提供的示例或上传自己的X光片来尝试我们的演示: 链接1 | 链接2 | 链接3 。

关于XrayGPT

<hr>

XrayGPT旨在刺激围绕基于给定X光片的自动化胸部X光片分析的研究。
LLM（Vicuna）在医疗数据（10万个患者和医生之间的实际对话）和约30,000个放射学对话上进行了微调,以获取特定领域的相关特征。
我们从两个数据集（MIMIC-CXR和OpenI）的自由文本放射线报告中生成交互式和干净的总结（约21.7万个）。这些总结有助于通过在高质量数据上微调线性变换层来提高LLMs的性能。有关我们高质量总结的更多详细信息,请查看数据集创建。
我们使用简单的线性变换将冻结的医疗视觉编码器（MedClip）与微调的LLM（Vicuna）进行对齐。

overview

入门

安装

1. 准备代码和环境

克隆存储库并创建 anaconda 环境

git clone https://github.com/mbzuai-oryx/XrayGPT.git
cd XrayGPT
conda env create -f env.yml
conda activate xraygpt

或

git clone https://github.com/mbzuai-oryx/XrayGPT.git
cd XrayGPT
conda create -n xraygpt python=3.9
conda activate xraygpt
pip install -r xraygpt_requirements.txt

设置

1. 为训练准备数据集

请参考dataset_creation了解更多详细信息。

下载预处理的注释 mimic 和 openi。相应的图像文件夹包含来自数据集的图像。

最终的数据集文件夹结构如下:

dataset
├── mimic
|    ├── image
|    |   ├──abea5eb9-b7c32823-3a14c5ca-77868030-69c83139.jpg
|    |   ├──427446c1-881f5cce-85191ce1-91a58ba9-0a57d3f5.jpg
|    |   .....
|    ├──filter_cap.json
├── openi
|    ├── image
|    |   ├──1.jpg
|    |   ├──2.jpg
|    |   .....
|    ├──filter_cap.json
...

3. 准备预训练的Vicuna权重

我们在Vicuna-7B的v1版本上构建了XrayGPT。我们使用精心挑选的放射线报告样本对Vicuna进行了微调。从vicuna_weights下载Vicuna权重最终的权重将在一个单独的文件夹中,结构类似于以下内容:

vicuna_weights
├── config.json
├── generation_config.json
├── pytorch_model.bin.index.json
├── pytorch_model-00001-of-00003.bin
...

然后,在模型配置文件"xraygpt/configs/models/xraygpt.yaml"的第16行设置vicuna权重的路径。在放射学样本上微调Vicuna,请下载我们精选的放射学和医疗保健对话样本,并参考原始的Vicuna repo进行微调。Vicuna_Finetune

4. 下载预训练的Minigpt-4检查点

下载预训练的minigpt-4检查点。ckpt

5. XrayGPT的训练

A. 第一阶段的预训练

在第一阶段的预训练中,模型使用来自预处理的MIMIC数据集的图像-文本对进行训练。

要启动第一阶段的训练,运行以下命令。在我们的实验中,我们使用4个AMD MI250X GPU。

torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/xraygpt_mimic_pretrain.yaml

2. 第二阶段的OpenI微调

在第二阶段,我们使用由我们预处理的小型高质量图像-文本对OpenI数据集。

运行以下命令。在我们的实验中,我们使用AMD MI250X GPU。

torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/xraygpt_openi_finetune.yaml

在本地机器上启动演示

下载预训练的xraygpt检查点。link

将此ckpt添加到"eval_configs/xraygpt_eval.yaml"。

在您的本地机器上尝试gradio demo.py,使用以下命令:

python demo.py --cfg-path eval_configs/xraygpt_eval.yaml  --gpu-id 0

示例

致谢

<hr>

MiniGPT-4 利用先进的大型语言模型增强视觉语言理解。我们的模型建立在MiniGPT-4的基础之上。
MedCLIP 从无配对的医疗图像和文本中进行对比学习。我们使用了MedCLIP中的医疗感知图像编码器。
BLIP2 XrayGPT的模型架构遵循BLIP-2。
Lavis 此存储库建立在Lavis之上!
Vicuna Vicuna的出色语言能力令人惊叹,并且是开源的!

引用

如果您在研究或应用中使用XrayGPT,请使用以下BibTeX引用:

    @article{Omkar2023XrayGPT,
        title={XrayGPT: Chest Radiographs Summarization using Large Medical Vision-Language Models},
        author={Omkar Thawkar, Abdelrahman Shaker, Sahal Shaji Mullappilly, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Jorma Laaksonen and Fahad Shahbaz Khan},
        journal={arXiv: 2306.07971},
        year={2023}
    }