👂 💉 EHRSHOT

一个用于评估电子健康记录(EHR)基础模型少样本学习能力的基准/数据集。您可以**在此阅读论文**。

与大多数先前仅限于重症监护室环境的EHR基准不同，EHRSHOT包含来自斯坦福医学院6,739名患者的完整纵向健康记录，以及专为评估预训练模型少样本学习能力而设计的15个分类任务。

📖 目录

1. 快速入门
2. 预训练基础模型
3. 数据集 + 任务
4. 与先前工作的比较
5. 其他
6. 引用

<a name="quick_start"/>

🚀 快速入门

按照以下步骤运行EHRSHOT基准。

1): 安装 EHRSHOT

conda create -n EHRSHOT_ENV python=3.10 -y
conda activate EHRSHOT_ENV

git clone https://github.com/som-shahlab/ehrshot-benchmark.git
cd ehrshot-benchmark
pip install -r requirements.txt

2): 安装 FEMR

对于我们的数据预处理管道，我们使用**FEMR (电子病历框架)**，这是一个用于使用EHR数据构建深度学习模型的Python包。

您还必须安装CUDA/cuDNN（我们推荐CUDA 11.8和cuDNN 8.7.0）。

请注意，这目前仅适用于Linux机器。

pip install femr-cuda==0.0.20 dm-haiku==0.0.9 optax==0.1.4
pip install --upgrade "jax[cuda11_pip]==0.4.8" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html

3): 从Redivis下载数据集 + 模型，并将结果放在名为EHRSHOT_ASSETS/的目录中。

4): 使用以下命令端到端运行基准：

bash run_all.sh

文件夹结构

您的最终文件夹结构应如下所示：

• ehrshot-benchmark/
  • EHRSHOT_ASSETS/
    • athena_download/
      • 我们不提供此资源。您需要按照下面"下载Athena本体"部分的说明进行操作。不过，您可以通过使用我们Redivis下载中包含的FEMR提取完全跳过这一步。
    • benchmark/
      • 我们从Redivis提供此资源，其中包含所有任务的标签 + 少样本样本。
    • data/
      • 我们从Redivis提供此资源，其中包含整个数据集的CSV文件。
    • features/
      • 我们从Redivis提供此资源，其中包含预处理的计数 + 基于CLMBR的特征化。
    • femr/
      • 我们从Redivis提供此资源，其中包含作为FEMR提取的去识别化EHR数据。
    • figures/
      • 我们从Redivis提供此资源，其中包含总结运行我们基准预期结果的图表。
    • models/
      • 我们从Redivis提供此资源，其中包含我们预训练基础模型（CLMBR）的权重。
    • results/
      • 我们从Redivis提供此资源，其中包含我们在基线模型上运行基准的原始结果。
    • splits/
      • 我们从Redivis提供此资源，确定哪个患者对应哪个分割。
  • ehrshot/
    • 我们在此处提供运行基准的脚本

<a name="models"/>

🔮 EHR基础模型

访问： 模型可在HuggingFace上获取，需要签署研究使用协议。

我们发布了一个1.41亿参数的临床基础模型的模型权重，该模型在斯坦福医学院257万患者的去识别化结构化EHR数据上进行了预训练。

我们是首批完全发布此类编码EHR数据模型之一；相比之下，大多数先前发布的临床数据模型（例如GatorTron、ClinicalBERT）仅适用于非结构化文本，无法处理EHR中丰富的结构化数据。

我们使用临床语言模型表示（CLMBR）作为我们的模型。CLMBR是一个自回归模型，旨在根据先前的代码预测患者时间线中的下一个医疗代码。CLMBR采用因果掩蔽局部注意力，确保信息仅向前流动，这对预测任务至关重要，与BERT基础模型的双向性质形成对比。我们使用transformer作为基础模型，具有1.41亿可训练参数和下一个代码预测目标，提供分钟级EHR分辨率，而不是原始模型制定中的日级聚合。

<a name="dataset"/>

🗃️ 数据集 + 任务

访问： EHRSHOT数据集可在Redivis上获取，需要签署研究使用协议。

EHRSHOT包含：

• 6,739名患者
• 4160万临床事件
• 921,499次就诊
• 15个预测任务

每名患者由其EHR结构化数据（例如诊断、手术、处方等）中提取的有序临床事件时间线组成。

每个任务都是一个预测性分类任务，并包括一个标准的训练/验证/测试分割。任务定义如下：

任务	类型	预测时间	时间范围	数据集中可能的标签值
长期住院	二分类	入院当天23:59	住院时长	{0,1} 即 {<7天, >=7天}
30天再入院	二分类	出院当天23:59	出院后30天	{0,1} 即 {无再入院, 再入院}
ICU转移	二分类	入院当天23:59	住院时长	{0,1} 即 {无转移, 转移}
血小板减少症	4类多分类	记录结果前立即	下一次结果	{0,1,2,3} 即 {低, 中, 高, 异常}
高钾血症	4类多分类	记录结果前立即	下一次结果	{0,1,2,3} 即 {低, 中, 高, 异常}
低血糖	4类多分类	记录结果前立即	下一次结果	{0,1,2,3} 即 {低, 中, 高, 异常}
低钠血症	4类多分类	记录结果前立即	下一次结果	{0,1,2,3} 即 {低, 中, 高, 异常}
贫血	4类多分类	记录结果前立即	下一次结果	{0,1,2,3} 即 {低, 中, 高, 异常}
高血压	二分类	出院当天23:59	出院后1年	{0,1} 即 {无诊断, 诊断}
高脂血症	二分类	出院当天23:59	出院后1年	{0,1} 即 {无诊断, 诊断}
胰腺癌	二分类	出院当天23:59	出院后1年	{0,1} 即 {无诊断, 诊断}
乳糜泻	二分类	出院当天23:59	出院后1年	{0,1} 即 {无诊断, 诊断}
狼疮	二分类	出院当天23:59	出院后1年	{0,1} 即 {无诊断, 诊断}
急性心肌梗塞	二分类	出院当天23:59	出院后1年	{0,1} 即 {无诊断, 诊断}
胸部X光检查结果	14类多标签	记录报告前24小时	下一次报告	{0,1,...,8192} 即二进制字符串，位置idx处为1表示CHEXPERT_LABELS[idx]处的标签为真，参见此数组

📊 与先前工作的比较

大多数先前的基准测试(1)仅限于ICU环境，(2)不适合对预训练模型进行少样本评估。

相比之下，EHRSHOT包含(1)医疗系统对其所治疗患者的全面纵向数据，以及(2)旨在评估模型任务适应和少样本能力的广泛任务范围：

<table> <tr> <th rowspan="3">基准测试</th> <th colspan="1">来源</th> <th colspan="3">电子健康记录属性</th> <th colspan="2">评估</th> <th colspan="3">可复现性</th> </tr> <tr> <td rowspan="2">数据集</td> <td rowspan="2">重症监护/急诊就诊</td> <td rowspan="2">非重症监护/急诊就诊</td> <td rowspan="2">患者数量</td> <td rowspan="2">任务数量</td> <td rowspan="2">少样本学习</td> <td rowspan="2">通过数据使用协议获取数据集</td> <td rowspan="2">预处理代码</td> <td rowspan="2">模型权重</td> </tr> <tr></tr> <tr></tr> <tr> <td><b>EHRSHOT</b></td> <td><b>斯坦福医学院</b></td> <td><b>✓</b></td> <td><b>✓</b></td> <td><b>7千</b></td> <td><b>15</b></td> <td><b>✓</b></td> <td><b>✓</b></td> <td><b>✓</b></td> <td><b>✓</b></td> </tr> <tr> <td><a href="https://github.com/MLforHealth/MIMIC_Extract">MIMIC-Extract</a></td> <td>MIMIC-III</td> <td>✓</td> <td>--</td> <td>34千</td> <td>5</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/USC-Melady/Benchmarking_DL_MIMICIII">Purushotham 2018</a></td> <td>MIMIC-III</td> <td>✓</td> <td>--</td> <td>35千</td> <td>3</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/YerevaNN/mimic3-benchmarks">Harutyunyan 2019</a></td> <td>MIMIC-III</td> <td>✓</td> <td>--</td> <td>33千</td> <td>4</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/healthylaife/MIMIC-IV-Data-Pipeline">Gupta 2022</a></td> <td>MIMIC-IV</td> <td>✓</td> <td>*</td> <td>257千</td> <td>4</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/aishwarya-rm/cop-e-cat">COP-E-CAT</a></td> <td>MIMIC-IV</td> <td>✓</td> <td>*</td> <td>257千</td> <td>4</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/nliulab/mimic4ed-benchmark">Xie 2022</a></td> <td>MIMIC-IV</td> <td>✓</td> <td>*</td> <td>216千</td> <td>3</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/mostafaalishahi/eICU_Benchmark">eICU</a></td> <td>eICU</td> <td>✓</td> <td>--</td> <td>73千</td> <td>4</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/mmcdermott/comprehensive_MTL_EHR">EHR PT</a></td> <td>MIMIC-III / eICU</td> <td>✓</td> <td>--</td> <td>86千</td> <td>11</td> <td>✓</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/MLD3/FIDDLE">FIDDLE</a></td> <td>MIMIC-III / eICU</td> <td>✓</td> <td>--</td> <td>157千</td> <td>3</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://github.com/ratschlab/HIRID-ICU-Benchmark">HiRID-ICU</a></td> <td>HiRID</td> <td>✓</td> <td>--</td> <td>33千</td> <td>6</td> <td>--</td> <td>✓</td> <td>✓</td> <td>--</td> </tr> <tr> <td><a href="https://www.sciencedirect.com/science/article/pii/S1532046419302564?via%3Dihub">Solares 2020</a></td> <td>CPRD</td> <td>✓</td> <td>✓</td> <td>4百万</td> <td>2</td> <td>--</td> <td>--</td> <td>--</td> <td>--</td> </tr> </table> <a name="other"/>

其他

下载Athena本体

Redivis下载中提供的FEMR提取文件包含了所有必要的概念，因此只要您跳过运行bash脚本1_create_femr_database.sh，就可以忽略这一点。

但如果您想从头开始重新创建FEMR提取文件，那么您需要自行下载Athena本体：

1. 前往Athena网站的这个链接。您可能需要创建一个账户。
2. 点击网站右上角的绿色"Download"按钮
3. 点击绿色"Download"按钮下方的紫色"Download Vocabularies"按钮
4. 将捆绑包命名为"athena_download"并选择5.x版本
5. 滚动到列表底部，点击蓝色"Download"按钮
6. 下载准备就绪需要一些时间。请刷新此网页以检查您的下载是否准备就绪。一旦下载准备就绪，点击"Download"
7. 下载完成后，解压文件并将所有文件移动到您仓库中的EHRSHOT_ASSETS/athena_download/文件夹。

下载Athena OHDSI本体后，您还需要单独下载本体的CPT子集。您可以按照Athena下载中readme.txt的说明操作，或按照以下步骤进行：

1. 在此创建UMLS账户
2. 在此获取您的UMLS API密钥
3. 从EHRSHOT_ASSETS/athena_download/文件夹运行此命令：bash cpt.sh <YOUR UMLS API KEY>

然后您的本体就准备就绪了！

引用

如果您发现这个项目有帮助，请引用我们的论文：

@article{wornow2023ehrshot,
      title={EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models}, 
      author={Michael Wornow and Rahul Thapa and Ethan Steinberg and Jason Fries and Nigam Shah},
      year={2023},
      eprint={2307.02028},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

许可证

本仓库的源代码根据Apache License 2.0发布。模型许可证和数据集许可证列在其相应的网页上。