ChatDoctor：基于大型语言模型Meta-AI (LLaMA)使用医学领域知识微调的医疗聊天模型

Yunxiang Li<sup>1</sup>, Zihan Li<sup>2</sup>, Kai Zhang<sup>3</sup>, Ruilong Dan<sup>4</sup>, Steve Jiang<sup>1</sup>, You Zhang<sup>1</sup>

<h5>1 美国西南医学中心</h5> <h5>2 美国伊利诺伊大学厄巴纳-香槟分校</h5> <h5>3 美国俄亥俄州立大学</h5> <h5>4 中国杭州电子科技大学</h5>

资源列表

带疾病数据库的自主ChatDoctor 演示。

来自HealthCareMagic.com的10万条真实患者和医生对话 HealthCareMagic-100k。

来自icliniq.com的真实患者和医生对话 icliniq-10k。

ChatDoctor的检查点链接。

用于基本对话能力的Stanford Alpaca数据 Alpaca链接。

设置：

在一个安装了pytorch的conda环境中，运行：

pip install -r requirements.txt

交互式演示页面：

演示页面：https://huggingface.co/spaces/kenton-li/chatdoctor_csv 值得注意的是，我们的模型尚未达到100%的准确输出，请勿将其应用于实际临床场景。

对于想要尝试在线演示的人，请注册hugging face并填写此表格链接。

数据和模型：

1. ChatDoctor数据集：

您可以下载以下训练数据集

来自HealthCareMagic.com的10万条真实患者和医生对话 HealthCareMagic-100k。

来自icliniq.com的1万条真实患者和医生对话 icliniq-10k。

由ChatGPT生成的5千条患者和医生对话 GenMedGPT-5k 和疾病数据库。

我们的模型首先由Stanford Alpaca的数据进行微调，以获得一些基本的对话能力。Alpaca链接

2. 模型权重：

将模型权重文件放在./pretrained文件夹中。

如何微调

torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \
    --model_name_or_path <your_path_to_hf_converted_llama_ckpt_and_tokenizer> \
    --data_path ./HealthCareMagic-100k.json \
    --bf16 True \
    --output_dir pretrained \
    --num_train_epochs 1 \
    --per_device_train_batch_size 4 \
    --per_device_eval_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 2000 \
    --save_total_limit 1 \
    --learning_rate 2e-6 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --fsdp "full_shard auto_wrap" \
    --fsdp_transformer_layer_cls_to_wrap 'LLaMADecoderLayer' \
    --tf32 True

使用Lora进行微调

WORLD_SIZE=6 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 torchrun --nproc_per_node=6 --master_port=4567 train_lora.py \
  --base_model './weights-alpaca/' \
  --data_path 'HealthCareMagic-100k.json' \
  --output_dir './lora_models/' \
  --batch_size 32 \
  --micro_batch_size 4 \
  --num_epochs 1 \
  --learning_rate 3e-5 \
  --cutoff_len 256 \
  --val_set_size 120 \
  --adapter_name lora

如何推理

您可以在自己的机器上构建ChatDoctor模型并与之交流。

python chat.py

cd Autonomous_ChatDoctor_csv
python chat_csv.py

cd Autonomous_ChatDoctor_Wikipedia
python chat_wiki.py

示例：

我们在HealthCareMagic-100K上微调了我们的模型，并在iCliniq-10k上测试我们的模型。

来自icliniq的患者问题：医生您好，我出现了单侧头痛。我不经常出现这种情况。疼痛位于我右眼后方和太阳穴区域。现在这次我还在同时患有严重的感冒和咳嗽。今天晚上开始出现头痛，当我咳嗽、摇头或弯腰时疼痛加剧。在此之前，我大约四个月前也出现过相同的头痛。那次是在下午开始，持续到第二天早上。再之前，我也出现过完全相同的右侧头痛，持续了一天。我正在服用CCB和Protonix。我担心是脑瘤。请帮助我

来自icliniq的真实医生回答：你好。根据你所描述的情况，这更有可能是由鼻窦炎引起的。鼻窦是头骨中的小型充满空气的腔室。它们可能会受到感染，当感染时，你会出现眼后头痛。这种头痛在感冒和咳嗽期间更为常见。脑瘤引起的头痛通常是双侧的，多发生在前额部位，而且你还会出现呕吐的症状。根据你所描述的情况，这更可能是简单的鼻窦感染，而不是脑瘤。建议进行脑部CT和鼻旁窦CT检查。

ChatGPT的回答：您好！很抱歉听说您正在经历这些头痛。根据疼痛的位置，听起来可能是紧张性头痛或偏头痛。这些类型的头痛有时可能由感冒或其他疾病引发。然而，最好还是去看医生，排除任何其他潜在的病症。关于脑肿瘤，它是一种非常罕见的头痛原因。大多数经历头痛的人并没有脑肿瘤。话虽如此，如果您有任何令人担忧的症状，如视力变化、无力或麻木，请立即就医。同时，您可以尝试服用布洛芬或对乙酰氨基酚等非处方止痛药来缓解头痛。充分休息和保持水分也很重要。如果头痛持续或变得更频繁，请预约医生。保重！

ChatDoctor的回答：您好，感谢您的提问。首先，我想安慰您不必担心脑肿瘤。同时，我们也应该排除偏头痛。您头痛最可能的原因是鼻窦炎。这可以通过面部X光检查来确认。治疗将包括使用减充血药片/鼻喷剂。祝您安好，ChatDoctor。

ChatDoctor准确提到了鼻窦炎，这在icliniq的真实对话中也存在。

概述 ChatDoctor是一个基于LLaMA模型的新一代AI医生模型。该项目的目标是为患者提供一个智能可靠的医疗助手，能够回答他们的医疗问题并提供个性化的医疗建议。

ChatDoctor是一个专为医疗应用设计的高级语言模型。它经过大量医学文献的训练，对医学术语、程序和诊断有深入的理解。这个模型作为ChatDoctor的基础，使其能够分析患者的症状和病史，提供准确的诊断，并建议适当的治疗方案。

ChatDoctor模型旨在模拟医生和患者之间的对话，使用自然语言处理（NLP）和机器学习技术。患者可以通过聊天界面与ChatDoctor模型互动，询问关于他们健康、症状或医疗状况的问题。然后，模型会分析输入并提供针对患者独特情况的回应。

ChatDoctor模型的一个关键特点是它能够随时间学习和适应。随着更多患者与模型互动，它将不断完善其回应并提高准确性。这意味着患者可以期望随着时间的推移获得越来越个性化和准确的医疗建议。

患者-医生对话数据集微调的第一步是收集患者-医生对话数据集。在患者-医生对话中，患者对疾病症状的描述往往是口语化和简略的。如果我们手动构建合成的患者-医生对话数据集，常常会导致多样性不足和描述过于专业化的问题，这往往与真实场景脱节。收集真实的患者-医生对话是更好的解决方案。因此，我们从在线医疗咨询网站HealthCareMagic（www.healthcaremagic.com）收集了约10万条真实的医生-患者对话。我们对这些数据进行了人工和自动的筛选，删除了医生和患者的身份信息，并使用语言工具纠正了语法错误，我们将这个数据集命名为HealthCareMagic-100k。此外，我们从在线医疗咨询网站iCliniq收集了约1万条患者-医生对话，用于评估我们模型的表现。

基于知识库的自主ChatDoctor 配备外部知识库（如维基百科或我们构建的包含700多种疾病的数据库）后，ChatDoctor可以检索相应的知识和可靠来源，更准确地回答患者的询问。在构建外部知识库后，我们需要让ChatDoctor自主检索所需的知识，这通常可以通过在大型语言模型中构建适当的提示来实现。为了自动化这个过程，我们为ChatDoctor设计了关键词挖掘提示，以提取相关知识检索的关键术语。然后，使用词语匹配检索系统从知识库中检索排名最高的相关段落。对于疾病数据库，由于模型无法一次读取所有数据，我们首先让模型分批读取数据，并自行选择可能有助于回答患者问题的数据条目。最后，将模型选择的所有数据条目提供给模型进行最终回答。这种方法更好地确保患者收到有依据的精确回应，并有可靠的参考来源。

局限性我们强调ChatDoctor仅用于学术研究，禁止任何商业用途和临床使用。这个决定有三个因素：首先，ChatDoctor基于LLaMA，具有非商业许可，所以我们必然继承了这一决定。其次，我们的模型未获得医疗相关用途的许可。此外，我们尚未设计足够的安全措施，目前的模型仍不能保证医疗诊断的完全正确性。

参考文献

ChatDoctor：基于LLaMA模型使用医学领域知识微调的医疗聊天模型