DeepKE

DeepKE 项目介绍

概述

DeepKE 是一个用于构建知识图谱的深度学习知识提取工具包。它支持 cnSchema、低资源、文档级以及多模态场景下的实体、关系和属性提取。DeepKE 提供了详细的文档、在线演示、相关论文、幻灯片以及海报，帮助初学者快速入门。

功能亮点

大型语言模型：DeepKE 集成了大型语言模型（LLM），如 [DeepKE-LLM] 和 [OneKE] 以支持更强大的知识提取能力。
监督模型训练：DeepKE 提供了不同种类的识别与提取模型，包括命名实体识别（NER）、关系提取与三元组提取，并允许用户快速开始训练。
多平台支持：推荐在 Linux 上使用 DeepKE，如使用 Windows，请注意在路径中使用 \\。
兼容性：如果 HuggingFace 不可访问，DeepKE 提供其他选项，例如 wisemodel 或 modescape。

快速开始

DeepKE-LLM

在大模型时代，DeepKE-LLM需要一些新的环境依赖。

conda create -n deepke-llm python=3.9
conda activate deepke-llm

cd example/llm
pip install -r requirements.txt

下载基础代码：

git clone --depth 1 https://github.com/zjunlp/DeepKE.git

创建虚拟环境：

conda create -n deepke python=3.8
conda activate deepke

安装 DeepKE：

pip install -r requirements.txt
python setup.py install
python setup.py develop

进入任务目录进行训练和预测：

cd DeepKE/example/re/standard
python run.py    # 进行训练
python predict.py  # 进行预测

模型框架

DeepKE 包含一个统一的框架用于命名实体识别、关系提取和属性提取。这三个任务在不同场景下可以有不同实现方法，例如标准方法、低资源方法（如少样本）、文档级方法以及多模态方法。每个场景都由三个组件组成：数据（包括 Tokenizer、预处理器和加载器）、模型（包括模块、编码器和前向器）、核心（包括训练、评价和预测）。