神农中医药大语言模型

神农中医药大语言模型（首个中医药大模型）的代码仓库

以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。

为推动LLM在中医药领域的发展和落地，提升LLM在中医药方面的知识与回答医学咨询的能力，同时推动大模型赋能中医药传承，我们现推出神农中医药大规模语言模型：

🚀 神农-中医药：
- 该模型的训练数据为中医药指令数据集ShenNong_TCM_Dataset。
- ChatMed_TCM_Dataset以我们开源的中医药知识图谱为基础；
- 采用以实体为中心的自指令方法entity-centric self-instruct，调用ChatGPT得到11万多条围绕中医药的指令数据；
- 神农-中医药模型也是以LlaMA为底座，采用LoRA (rank=16)微调得到。微调代码与ChatMed代码库相同

同时，欢迎大家关注我们的其他医疗大模型开源项目：

🚀 ChatMed-Consult：基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50万多条在线问诊+ChatGPT回复作为训练集。模型主干为LlaMA-7b，融合了Chinese-LlaMA-Alpaca的LoRA权重与中文扩展词表，然后再进行基于LoRA的参数高效微调。我们将全部代码都进行了公开；
🚀 ChatMed-MT：ChatMed-Consult的多轮对话版本，对已有的开源中文问诊数据集进行LLM自动改造，使得医生回复文本更加具有共情性，也更贴心与详细，由此训练的LLM在患者/用户体验上会更好。
🚀 PromptCBLUE中文医疗大模型评测基准：将CBLUE基准进行改造为提示学习模式，形成对大模型的中文医疗知识与医疗文本处理能力的评测基准。PromptCBLUE旨在采用一个生成式大模型即可完成医疗NLP相关的各种不同任务，如病历结构化，问诊，病例文书撰写等。

更新

2023/6/25 🚀 开源中医药指令数据集ShenNong_TCM_Dataset的v0.2版本，数据量达到11万多条；同时上传神农-中医药模型checkpoint至model。

2023/6/21 🚀 开源中医药指令数据集ShenNong_TCM_Dataset的v0.1版本，v0.2版本即将更新。

快速上手

如果同学们想要采用中医药指令数据集ShenNong_TCM_Dataset进行大模型微调，可以参考ChatMed代码库的代码和训练脚本。

以实体为中心的自指令方法

中医药指令数据集ShenNong_TCM_Dataset是完全开源的，可供社区成员们使用。

我们知道，垂直领域相较于通用领域的不同之处在于其一般是知识密集性的，而这些知识一般是围绕一些实体的。所以，我们提出实体为中心的自指令方法entity-centric self-instruct，即围绕垂直领域中的核心实体，以及各种不同的意图场景，进行指令的生成。如果小伙伴们想要基于自己本地的知识库/知识图谱，进行entity-centric self-instruct，则可以运行下面的命令（注意需要在代码文件中配置自己的api key）：

python src/entity_centric_self_instruct.py your_KG_triples.txt your_output_file.jsonl

其中"your_KG_triples.txt"文件是知识图谱每个三元组写在txt文件形成的，参考TCM-KG或者TCM-KG文件。

效果对比

By using the ShenNong_TCM_Dataset to perform LoRA fine-tuning on the Chinese LlaMA-7b model, we can significantly improve its ability to answer Traditional Chinese Medicine (TCM) related questions. Here, we showcase the responses of different models to five typical TCM questions. For more test examples, please refer to [More Test Examples](./src/ShenNong-TCM-LLM - test examples.xls)

问诊问题	中文LlaMA-7b	ShenNong-TCM
腹痛怎么办啊？	建议您尽快就医，并根据医生的指导进行治疗。	如果您感到腹部疼痛，以下是一些可能有用的建议：\n1. 首先休息一下。躺下或坐下来可以减轻症状并帮助身体恢复力量。\n2. 如果您有任何药物过敏史或者正在服用其他药品，请务必咨询医生的意见后再使用这些药膏、止疼剂等缓解痛苦的方法。\n3. 在饮食方面，避免食用辛辣食物和油腻食品，尽量选择清淡易消化的食物来减少肠胃负担。同时多喝水以保持水分平衡。\n4. 如果你的情况比较严重并且持续时间较长，最好去医院就诊寻求专业治疗。
大便时带血，怎么办？	出现这种情况可能是由于肠道内出血或炎症引起的。建议及时就医检查确诊并进行治疗。	如果您的大便中出现了血液，可能是由于以下原因之一引起的：\n\n1.痔疮或肛裂 - 这种情况通常会导致排尿和排泄物的疼痛、瘙痒和其他不适症状。出血量可能会有所不同，从轻微到严重不等。\n2.肠炎或其他肠道疾病- 这些病症可能导致腹泻或者便秘以及其他胃肠道问题。出血量也可能因病情而异。\n3.直肠息肉 - 这是一种在直肠内形成的良性肿瘤状结构，可以引起不同程度的腹痛和出血。\n4.结肠癌 - 这种癌症是常见的消化系统恶性肿瘤类型之一，常常会引起严重的腹部痛苦并伴有贫血等问题。\n5.脱垂子宫颈糜烂 - 如果您正在怀孕并且出现这种情况，这很可能是由于宫颈糜烂所致。这种病变需要及时治疗以避免感染和流产的风险。\n\n建议立即就医寻求医生帮助进行诊断和治疗。
可以给我介绍一些治疗太阳经风寒证的中药吗？	针灸、推拿等中医疗法，以及草药汤剂都可以用来缓解这种症状。	当出现太阳经风寒证时，可以考虑以下几种常用的中药进行治疗。这些药物具有温阳散寒、祛湿止痛的作用，能够缓解症状并促进身体康复。\n\n1. 当归（Angelica sinensis）-有活血化瘀和补气养血作用；\n2. 白芷 (Bai Zi) - 清热解毒，宣通鼻窍；\n3. 金银花(Honeysuckle, Jin Xin Hua)-清热解毒，凉血消肿；\n4. 陈皮 (Chen Pi) - 理气健脾，行滞化痰；\n5. 桂枝 (Gui Zhi) - 发汗解表，调和营卫。\n\n需要注意的是，在使用任何一种中药之前应该咨询医生或中医师的意见以确保安全有效性。
我感觉浑身乏力，且出现壮热症状。请推荐中医诊断和治疗方法。	建议您到医院进行检查以确定病因并制定相应的治疗方案；同时可以采用中药调理身体、增强免疫力等方法缓解病情。	根据您的描述，您可能患有感冒或流感等疾病引起的身体不适。建议及时就医并进行中西医疗诊以确定确切的病因及治疗方案。以下是一些常用的中药方剂供参考：\n\n1. 金银花清瘟胶囊：具有解毒、抗病毒的作用，适用于风寒感冒或者流行性感冒等病症。\n\n2. 三黄石膏颗粒：可清热解毒、祛湿止痛，常用于暑湿伤阳所致的身体酸软无力。\n\n3. 五味子饮片：有温肺散寒、益气固表之功效，可用于体虚畏冷、易感恶风的情况。\n\n4. 当归生姜羊肉汤：有益血活络、温暖脾胃作用，适合因寒冷导致的身体疲倦以及食欲不振的人群食用。\n\n需要注意的是，以上药物仅作为辅助治疗措施，具体用药应在医生指导下使用。同时，保持充足休息、饮食清淡、多喝水也是缓解病情的重要方法之一。
我的牙齿疼痛，同时伴有口臭，有什么方法可以缓解？	建议您及时到口腔医院就诊。牙周炎、龋齿等疾病可能导致牙齿疼痛和口臭等问题出现	您可以尝试以下几种方式来减轻牙痛和减少口腔异味：

1.盐水漱口。将一茶匙食盐加入一杯温水中，搅拌均匀后用来漱口即可。这有助于杀死细菌并减轻口臭。

2.使用含氟的牙膏或漱口水。这些产品的成分含有一定量的氟化物，可帮助清洁牙齿表面，防止龋齿形成。

3.刷牙时用软毛牙刷轻轻按摩牙齿边缘以去除食物残渣。

4.定期去看牙医进行检查和治疗。如果出现严重的蛀牙或其他问题，及时修复可能会避免更严重后果。

5.注意饮食健康，少吃甜食、碳酸饮料等易导致蛀牙的食物。 | 我们可以看到：

神农中医模型的回答更具人性化关怀，而中文LlaMA-7b模型的回复可能较为生硬；
相比中文LlaMA-7b模型，神农中医模型的回答更加丰富，提供更多可行建议，尤其能根据症状有效推荐方剂/中草药。

技术交流

PromptCBLUE与大模型技术交流微信群二维码（截至6月23日有效）：

免责声明

本项目相关资源仅供学术研究使用，严禁用于商业目的。
神农中医模型作为基于语言模型的智能助手，不能代替中医/西医进行医学诊断和提供医学建议。如有需要，请咨询专业医生或前往医院就诊。
神农中医系列模型正在快速迭代中，模型权重将定期更新。
神农中医系列模型基于开源数据，其训练数据的质量和数量有限，掌握的中医知识必然存在各种缺陷。我们将持续改进和更新。

致谢

本项目基于开源项目开发，在此对相关项目和研究开发人员表示感谢。

Logo中的"神农"形象由midjourney自动生成。

引用

如果您使用了本项目的模型、数据或代码，请声明引用：

@misc{zhu2023ChatMed,
      title={ShenNong-TCM: A Traditional Chinese Medicine Large Language Model}, 
      author={Wei Zhu, Wenjing Yue and Xiaoling Wang},
      year={2023},
      publisher = {GitHub},
      journal = {GitHub repository},
      howpublished = {\url{https://github.com/michael-wzhu/ShenNong-TCM-LLM}},
}