EHRSHOT: 一个用于少样本评估电子健康记录基础模型的基准数据集

EHRSHOT:电子健康记录基础模型少样本评估的新基准

在机器学习领域,公开的数据集、任务和模型极大地推动了整个领域的发展。然而,医疗健康领域的机器学习进展却因缺乏这些共享资源而受到阻碍。基础模型的成功也为医疗健康机器学习带来了新的挑战,需要共享预训练模型来验证性能优势。为了应对这些挑战,斯坦福大学Shah实验室推出了EHRSHOT基准数据集,为电子健康记录(EHR)领域的基础模型研究提供了重要支持。

EHRSHOT数据集概述

EHRSHOT是一个全新的EHR基准数据集,包含了来自斯坦福医学院6,739名患者的去标识化结构化电子健康记录数据。与以往流行的EHR数据集(如MIMIC-III/IV)不同,EHRSHOT具有以下特点:

数据全面性:包含完整的纵向数据,不仅限于ICU/急诊患者。
数据规模:包含41.6百万条临床事件记录,921,499次就诊记录。
任务多样性:定义了15个少样本临床预测任务,涵盖二分类、多分类和多标签分类。

这些特点使EHRSHOT成为一个更接近真实医疗场景、更适合评估基础模型性能的基准数据集。

CLMBR-T-base:EHR领域的基础模型

除了数据集,EHRSHOT项目还发布了一个名为CLMBR-T-base的临床基础模型。这是一个拥有1.41亿参数的模型,在257万名斯坦福医学院患者的去标识化结构化EHR数据上进行了预训练。值得注意的是,这是首批完全公开发布的针对结构化EHR数据的模型之一。

CLMBR-T-base模型采用了临床语言模型表示(CLMBR)技术。这是一种自回归模型,旨在根据患者时间线上的前序医疗代码预测下一个医疗代码。与双向的BERT类模型不同,CLMBR使用因果掩蔽的局部注意力机制,确保信息只能向前流动,这对预测任务至关重要。模型以transformer为基础,具有1.41亿个可训练参数,采用下一个代码预测目标,能够提供分钟级的EHR解析能力,超越了原始模型设计中的日级聚合。

15个少样本临床预测任务

EHRSHOT定义了15个临床分类任务,每个任务都有标准的训练/验证/测试集划分。这些任务涵盖了多个重要的临床预测领域:

住院时长预测(二分类)
30天内再入院预测(二分类)
ICU转移预测(二分类)
血小板减少症预测(4分类)
高钾血症预测(4分类)
低血糖症预测(4分类)
低钠血症预测(4分类)
贫血预测(4分类)
高血压预测(二分类)
高脂血症预测(二分类)
胰腺癌预测(二分类)
乳糜泻预测(二分类)
狼疮预测(二分类)
急性心肌梗死预测(二分类)
胸部X光片发现(14分类多标签)

这些任务的设计旨在评估模型在样本效率和任务适应性方面的表现,为少样本学习研究提供了丰富的测试场景。

与现有工作的比较

EHRSHOT在多个方面超越了现有的EHR基准数据集:

数据范围:大多数现有基准仅限于ICU环境,而EHRSHOT包含了医疗系统所期望的全面纵向数据。
评估方法:专门设计用于评估预训练模型的少样本学习能力。
任务数量:提供15个预测任务,远多于大多数现有基准。
可重复性:提供了数据集、预处理代码和模型权重,确保研究的可重复性。

EHRSHOT的意义和应用

EHRSHOT的发布对医疗健康领域的机器学习研究具有重要意义:

促进基础模型研究:为EHR领域的基础模型提供了标准化的评估基准,推动了相关研究的发展。
提高少样本学习能力:通过15个多样化的任务,帮助研究人员改进模型的少样本学习和任务适应能力。
增强临床决策支持:为开发更准确、更可靠的临床预测模型提供了基础,有助于改善医疗决策支持系统。
推动开放科学:通过公开数据集和模型,促进了医疗AI领域的开放合作和知识共享。

使用指南

研究人员可以通过以下步骤使用EHRSHOT基准:

安装EHRSHOT环境
安装FEMR(电子医疗记录框架)
从Redivis下载数据集和模型
运行基准测试脚本

详细的安装和使用说明可以在EHRSHOT的GitHub仓库中找到。

结论

EHRSHOT基准的推出为电子健康记录领域的机器学习研究提供了一个强大的工具。通过提供全面的纵向EHR数据、预训练的基础模型和多样化的少样本任务,EHRSHOT为研究人员探索和改进医疗AI模型开辟了新的可能性。随着更多研究者使用这一基准,我们有望看到EHR数据分析和临床预测模型的显著进步,最终推动医疗保健领域的人工智能应用更上一层楼。

EHRSHOT数据流程图

图1: EHRSHOT数据处理流程

EHRSHOT任务定义图

图2: EHRSHOT任务定义概览

研究者如果发现EHRSHOT项目对其工作有帮助,请引用以下论文:

@article{wornow2023ehrshot,
      title={EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models}, 
      author={Michael Wornow and Rahul Thapa and Ethan Steinberg and Jason Fries and Nigam Shah},
      year={2023},
      eprint={2307.02028},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

通过EHRSHOT,我们期待看到更多创新性的EHR数据分析方法和模型的出现,最终推动医疗健康领域人工智能的进步,为患者带来更好的医疗服务和健康结果。