KnowLM

KnowLM 项目介绍

知识增强的大语言模型框架

KnowLM 是一个旨在提升语言模型知识能力的大型语言模型（LLM）框架。此框架涵盖了数据处理、模型预训练、微调、知识增强和应用等多个方面。KnowLM 还提供了一个模型库，其中包含 ZhiXi 和 OneKE 等易于使用的模型，用户可以立即应用这些模型。

特点

• 标准的大语言模型预训练和微调框架。
• 模型库包含 ZhiXi、KnowLM-IE、OneKE 和 OceanGPT 等，以及开源数据。
• 基于 EasyInstruct 的指令处理模块。
• 基于 RAG 的知识增强模块（正在开发中）。
• 基于 EasyDetect 的幻觉检测模块。
• 基于 EasyEdit 的知识编辑模块。
• 模型推理和部署功能。

所有模型权重和数据集已上传至 HuggingFace，能够提供快速启动。

模型与数据集

KnowLM 提供了多个模型版本和数据集以供用户下载和使用。例如，基础对话模型 KnowLM-13B-ZhiXi 和信息抽取工具 OneKE。数据集包括中英双语知识抽取数据集IEPile、信息抽取指令数据集InstructIE等。

技术特性

KnowLM 的技术框架主要包含三个核心功能：

1. 知识提示：通过知识图谱等结构化数据生成知识提示，并利用知识增强的约束解决知识抽取和推理问题。

2. 知识编辑：使用知识编辑技术调整大模型中的过时、错误或偏见知识，以解决知识错误问题。

3. 知识交互：实现动态知识交互与反馈，以实现基于工具的学习和多智能体协作，进而解决大语言模型中的体现认知问题。

快速开始

• 环境配置：支持手动和 Docker 镜像方式配置环境。
• 模型使用指南：提供命令行交互和网页交互两种使用方式，并支持多 GPU 模式。
• 信息抽取提示：提供用于命名实体识别、事件抽取和关系抽取的提示模板。
• 模型编辑与指令处理：利用 EasyEdit 和 EasyInstruct 等工具进行模型编辑和指令处理。

最新动态

• 2024年4月：推出基于中文羊驼模型的双语信息抽取模型 OneKE。
• 2024年3月：发布新的论文和模型关于知识增强的规划。
• 2024年2月：发布大规模高质量双语信息抽取指令数据集 IEPile 及相关模型。

贡献者

感谢所有贡献者对 KnowLM 项目的支持和付出。项目的持续改进和发展离不开他们的重要参与和贡献。

总结：KnowLM 提供了一个全面、开放且不断优化的框架，适用于多种语言模型的训练和应用，帮助用户实现更具知识性的自然语言处理任务。