CareGPT

CareGPT 项目介绍

CareGPT（关怀GPT）是一个致力于医疗领域的开源大规模语言模型项目。旨在通过资源整合、开源模型、丰富数据以及高效部署，为医疗行业提供智能解决方案。CareGPT 坚持开源驱动，希望通过社区的共创，共同推动健康未来的发展。

项目特性

1. ChatGPT 微调：CareGPT 支持在 ChatGPT 上进行微调实验，特别是对于有额度的用户推荐此方式，以提升模型的个性化和适应性。

2. 多样化部署支持：可通过 ChatGPT-Next-Web 和 Gradio 部署已微调的模型，为使用者提供灵活的集成方式。

3. LLM 系列训练：项目支持对 LLaMA 和 LLaMA-2 全系列模型的训练，同时也支持 LoRA、QLoRA，以及后续的强化学习训练，如 PPO 和 DPO。

4. 知识库问答结合：支持模型与知识库的结合，使得在医疗问答场景中更加智能和准确。

5. 开源导诊信息：项目已经开源了超过60个医院科室的导诊材料信息，为医疗场景提供丰富的领域知识。

6. 医学数据蒸馏工具：开发了工具支持 GPT-4/ChatGPT 模型蒸馏医学数据，能够批量生成构建知识库和微调所需的数据。

7. 丰富的医学资源集合：聚合了丰富的开源医学大模型(LLM)、LLM 训练的医学数据、部署资料和相关的 LLM 资源，为用户提供全面的参考和支持。

8. 医学 LLM 测评领先：在医学 LLM 的 CMB 榜单评测中，领先于 ChatGPT 及其他众多开源医学 LLM。

9. 开源多个医疗 LLM：基于自有数据集，项目在不同基座 LLM 上训练并开源了多个医疗 LLM，用户可以下载进行体验。

技术实现

项目依托于现代的机器学习技术，通过如下几个关键步骤进行开发和部署：

1. 数据的多样性和准确性：使用多来源的数据进行预训练和微调，包括中文和英文的医学对话数据、古籍文本以及奖励训练数据等。

2. 训练配置管理：支持在不同硬件环境下进行高效的训练配置，通过 accelerate 等工具实现分布式加速，满足不同规模的模型训练需求。

3. 全流程的模型部署：支持 Web、API 以及 CLI 多种方式的模型部署和访问，方便用户根据实际需求选择合适的集成方式。

4. Gradio 和 ChatGPT-Next-Web 部署：通过 Gradio 提供可视化的交互体验，也支持通过 Next-Web 直接部署到线上。

实践经验总结

CareGPT 项目不仅在技术实现上表现优异，也在实践过程中积累了丰富的经验，如：

• 在语料中优先结合医疗和通用领域的数据进行预训练。
• 合理结合知识库与 LLM 进行问答，提升模型的适用性和真实性。
• 强调整个训练过程中的数据质量，从而保证最终模型的有效性。

以上这些特性和实践为 CareGPT 项目在医疗领域的应用提供了有力的支持，也为广大开发者和研究人员提供了丰富的资源和工具。希望通过社区的不断参与和完善，共同推进智能医疗的未来发展。