PULSE

PULSE 项目介绍

PULSE 是一个致力于中文医学领域的人工智能大语言模型项目。该项目专注于利用大规模数据训练出具有出色自然语言处理能力的模型，为健康教育、医学考试解答、报告分析、医疗记录结构化及诊断模拟等提供支持。

模型

主要功能

PULSE 模型是一种中文医疗大语言模型，经过大规模的数据训练和调优。它的主要功能包括：

• 中文医学自然语言处理任务支持：涵盖健康教育、医师考试问题解析、报告解读、医疗记录结构化处理，以及模拟诊断与治疗。

• 大规模训练：使用了大约4,000,000个来自中文医学和通用领域的指令微调数据进行模型训练和优化。

下载地址

用户可以通过以下链接下载不同版本的 PULSE 模型：

• PULSE-7b：基于 bloomz-7b1-mt 微调
• PULSE-20b：基于 InternLM-20B 微调

局限性

• PULSE 目前仅供医学领域研究使用，不适用于替代职业医生的建议。结果仅供参考。
• 由于参数量的限制及模型自动生成特性，PULSE 提供的推理结果不可作为诊断依据，建议用户对于健康问题寻求专业医生的建议。

Elo评测

在各种医学相关任务上的评测显示，PULSE 的性能接近于一些主流的人工智能模型。详细评测结果可以在以下模型排名中找到：

• PULSE-Pro 系统表现优良，排名次于 GPT-4 。
• PULSE-20b 整体表现优异，名列前茅，接近于 ChatGPT 的性能。

微调和量化

PULSE 项目提供了开源微调工具和模型量化方案：

• 微调工具：基于 LLaMA-Factory，帮助快速微调 PULSE。
• 量化方案：为不同版本的 PULSE 模型提供有效的量化工具，降低计算资源需求。

推理

硬件要求

PULSE 模型支持多种量化等级，以适配不同硬件条件。在相应的硬件下，可以高效进行推理：

• 对于 7B 模型，FP16 精度下需要 14GB 显存，而 INT4 精度显存需求仅为 6GB。
• 20B 模型在 FP16 下需要 40GB，INT4 精度需要 12GB。

安装与使用

包括通过 Gradio 和命令行提供的使用示例，便于用户快速试用模型能力。

友情链接

PULSE 项目鼓励其他开源项目的参与与合作，已推出了多种衍生应用，例如：

• XrayPULSE：结合 X-ray 图像模型与 PULSE，实现多模态医学会话。
• PULSE-COVID-19、术语归一化 和 病历结构化：提升特定医疗任务的处理能力。

致谢与开源协议

PULSE 项目得到了上海人工智能实验室等多家机构的支持。项目代码和模型分别采用 Apache 2.0 和 GNU AGPL 3.0 协议。