CMLM-ZhongJing（中医大语言模型-仲景）

中医大语言模型，灵感来自中国古代杰出医家张仲景的智慧。该模型旨在阐明中医博大精深之知识，传承古代智慧与现代技术创新，最终为医学领域提供可信赖和专业的工具。然而，目前所有产生的结果仅供参考，应由经验丰富的专业人员提供诊断和治疗结果和建议。

<img src="https://raw.githubusercontent.com/pariskang/CMLM-ZhongJing/main/logo.png" alt="logo" title="logo" width="50%"> 图1. 由Bing画图输出与人类提示相结合生成的CMLM-ZhongJing的Logo。

训练及推理声明

我们开源了针对Qwen1.5-1.8B-Chat模型的微调权重，在一张Tesla T4显卡即可实现高速推理。通过在我们专有医疗数据集上进行多次迭代训练确保模型在中医药领域具备较强理解和生成能力。模型权重可在huggingface<a href="https://huggingface.co/CMLL/ZhongJing-2-1_8b"> <img src="https://huggingface.co/front/assets/huggingface_logo-noborder.svg" style="width: 20px;" alt="Hugging Face"> </a>下载。也可使用免费GPU推理。

WebDemo

我们提供了基于Gradio的网页版Demo，网页版Demo提供ZhongJing的单轮和多轮对话功能，现在你可以在本地快速调用ZhongJing进行对话。克隆代码库后，使用如下命令启动网页版demo：

python WebDemo.py

1.指令数据构建：

目前大多如Alpaca、Belle等工作基于self-instruct思路。self-instruct思路可以很好的调用大语言模型的知识，生成多样和具有创造性的指令，在常规问答场景可以快速构造海量指令实现指令调优。但在一些专业知识容错率较低的领域，比如医疗和法律场景，幻觉输出会导致噪声指令数据从而影响模型的准确性。典型的情况是比如不当的诊断及处方建议甚至影响患者生命，事实性错误的法律条文和法理的引用会造成权益人的败诉。因此，如何快速调用OpenAI API且不牺牲指令数据的专业性成为指令数据构造及标注等场景的重要研究方向。以下将简述我们的初步实验探索。

<img src="https://raw.githubusercontent.com/pariskang/CMLM-ZhongJing/main/logo_image/Strategy.jpeg" alt="strategy" title="strategy" width="100%"> 图2. 人类医生参与的多任务治疗行为分解指令构建策略。

1.1多任务诊疗行为分解instruction指令构建策略

人类在记忆和理解时需要构建各种情景和故事，以隐式编码知识信息。记忆的清晰程度取决于学习的持续过程和丰富程度。穿插学习、间隔练习和多样化学习可以提升知识的巩固程度，由此形成深刻的领域知识理解能力。我们的思路是借鉴人类记忆知识的过程，采用专业表格，借助大语言模型的语言表征能力，严格设置特定的prompt模板，使得模型基于中医妇科方药表格数据生成包括患者治疗故事、诊断分析、诊断治疗预期结果、处方功用、互动故事、患者治疗故事、叙事医学、舌脉象、诊疗方案制定、批判性思维、随访、处方、药物用量、个例研究、真实世界问题、病因病机等15个场景，以促进模型对中医方药数据及诊断思维逻辑的推理能力。

    {
        "instruction": "我对三元汤的全过程很好奇，能否从简介、病历、症状、诊断和治疗，以及结果讨论等方面给我详细介绍？",
        "input": "",
        "output": "三元汤是一种古老的中药处方，最早出现在《保命集》卷下。它由多种中药组成，主要用于治疗产后日久虚劳，脉浮疾等症状。患者为产后日久虚劳，脉浮疾。脉浮疾。根据李女士的病史和症状，我决定使用三元汤来治疗她的病症。我按照处方中的药物组成和用法用量，将柴胡、黄芩、人参、半夏、甘草、川芎、芍药、熟地黄、当归等中药煎煮后，让李女士每天服用两次。在治疗过程中，我还注意了李女士的饮食和休息，让她多吃一些易于消化的食物，保证充足的睡眠和休息。经过一个月的治疗，李女士的症状得到了明显的改善。她的精神状态更加稳定，食欲也有所增加，头晕乏力的症状也减轻了很多。我认为，三元汤的治疗效果主要得益于其中的多种中药的协同作用，能够调节李女士的身体机能，增强体质，提高免疫力。同时，我也注意到，李女士的饮食和休息也对治疗效果有一定的影响。因此，在使用中药治疗疾病时，我们也应该注意患者的全面治疗，包括饮食、休息等方面。"
    }

1.2 中医常识指令数据构建策略

此外，我们还增加了基于中医古籍内容、名词解释、症状近义词、反义词、证候、症状、治法等指令内容，为了形成对照试验，我们对这部分仅仅采用一种指令模板以表征数据，同时这部分数据的数量约为8万条，明显多于上述策略构建的指令数量，以下为指令具体数量及tokens数量信息。

    {
        "instruction": "请回答以下有关于中医疾病名词解释的相关问题：",
        "input": "（肺风）粉刺属于哪个分类？",
        "output": "因肺风、胃热或肝瘀所致。以面及背部见黑头或白头粉刺、丘疹、脓疱、结节、囊肿及疤痕为主要表现的皮肤疾病。"
    }

文件名	总Tokens数量	输入数量	指令数量	输出数量
patient_therapeutic_story_data1.json	62722	208	208	208
diagnostic_analysis.json	1492105	6592	6592	6592
formula_funtion_data.json	100533	2115	2115	2115
diagnosis_treatment_expected_result_formatted_...	33822	153	153	153
Chinese Medicine Dictionary.json	2188672	20376	20376	20376
Antonyms.json	272	9	9	9
Interactive Story Instructed Data.json	55262	219	219	219
patient_therapeutic_story_data3.json	50785	660	660	660
Syndrome Noun Explanation.json	67443	976	976	976
narrative_medicine_formatted_data.json	61336	213	213	213
Chinese Medicine Symptom Synonyms.json	1515796	27650	27650	27650
Synonyms2.json	111186	2217	2217	2217
Ancient Books Content.json	15971297	31395	31395	31395
tongue_palse.json	328597	3723	3723	3723
therapeutic_template_making.json	335602	4929	4929	4929
patient_therapeutic_story_data2.json	50785	660	660	660
critical_thinking_data.json	31502	229	229	229
follow_up_data.json	504717	5990	5990	5990
prescription_data.json	107694	2898	2898	2898
herb_dosage.json	564394	5973	5973	5973
case_study_data.json	58319	243	243	243
Gynecology Synonyms.json	29740	543	543	543
real_world_problem.json	1493551	7990	7990	7990
disease_mechanism.json	997377	8024	8024	8024
Treatment Noun Explanation Cleaned Data.json	81211	1123	1123	1123
Total	26294720	135108	135108	135108

2.模型效果对比：

我们的测试数据基于真实高水平中医师的医学案例，通常为省级名老中医或国医大师级别的个案报告，以保证一定层面专业性。这样的数据较严格的属于分布外数据（学科分布外与训练数据集分布外，有别于传统训练集和验证集）。通过与文心一言、星火等大语言模型进行初步对比，发现我们的模型在基于300条中医方药数据构建的多样化诊疗分解指令数据集上具备良好的泛化能力，或许初步证实大语言模型与和人类一样，对于多元形式表征的文本内容更有助于学习隐喻的知识及逻辑。


序号	提问	文心一言	星火认知	仲景(384 Tokens)	仲景(512 Tokens)
1	张某，男，27岁。患者因昨晚饮酒发热，渴凉水数杯，早晨腹痛腹泻，泻下如水色黄，腹中辘辘有声，恶心欲吐，胸中满闷不舒，口干欲冷饮，舌质红、苔白腻，脉沉细数。给出中医诊断和处方建议	中医诊断：酒积湿热处方建议：治法：清热解毒，除湿止泻。方剂：选用葛根芩连汤加减。药物组成：葛根、黄芩、黄连、茯苓、薏苡仁、木瓜、陈皮、白芍、生姜、大枣等。剂量与用法：以水煎服，每日1-2剂，每次服用100-200毫升，每日3-4次。解释：方解：方中葛根可解肌退热、升清止泻；黄芩、黄连可清热燥湿、解毒止泻；茯苓、薏苡仁可利水渗湿、健脾止泻；木瓜可化湿和胃、止呕止泻；陈皮可理气健脾、燥湿化痰；白芍可柔肝止痛、敛阴止泻；生姜可温中散寒、和胃止呕；大枣可补中益气、调和脾胃。加减用药：若患者腹痛明显，可加用延胡索、川楝子等以增强止痛作用；若患者腹泻严重，可加用诃子、石榴皮等以涩肠止泻；若患者口干舌燥，可加用石膏、知母等以清热生津。