DeepKE

DeepKE 项目介绍

概述

DeepKE 是一个用于构建知识图谱的深度学习知识提取工具包。它支持 cnSchema、低资源、文档级以及多模态场景下的实体、关系和属性提取。DeepKE 提供了详细的文档、在线演示、相关论文、幻灯片以及海报，帮助初学者快速入门。

功能亮点

• 大型语言模型：DeepKE 集成了大型语言模型（LLM），如 [DeepKE-LLM] 和 [OneKE] 以支持更强大的知识提取能力。
• 监督模型训练：DeepKE 提供了不同种类的识别与提取模型，包括命名实体识别（NER）、关系提取与三元组提取，并允许用户快速开始训练。
• 多平台支持：推荐在 Linux 上使用 DeepKE，如使用 Windows，请注意在路径中使用 \\。
• 兼容性：如果 HuggingFace 不可访问，DeepKE 提供其他选项，例如 wisemodel 或 modescape。

快速开始

DeepKE-LLM

在大模型时代，DeepKE-LLM需要一些新的环境依赖。

conda create -n deepke-llm python=3.9
conda activate deepke-llm

cd example/llm
pip install -r requirements.txt

DeepKE

1. 下载基础代码：

   git clone --depth 1 https://github.com/zjunlp/DeepKE.git

2. 创建虚拟环境：

   conda create -n deepke python=3.8
   conda activate deepke

3. 安装 DeepKE：

   pip install -r requirements.txt
   python setup.py install
   python setup.py develop

4. 进入任务目录进行训练和预测：

   cd DeepKE/example/re/standard
   python run.py    # 进行训练
   python predict.py  # 进行预测

模型框架

DeepKE 包含一个统一的框架用于命名实体识别、关系提取和属性提取。这三个任务在不同场景下可以有不同实现方法，例如标准方法、低资源方法（如少样本）、文档级方法以及多模态方法。每个场景都由三个组件组成：数据（包括 Tokenizer、预处理器和加载器）、模型（包括模块、编码器和前向器）、核心（包括训练、评价和预测）。

使用建议与提醒

1. 使用本地镜像加速安装。
2. 遇到特定模块未找到的错误时，手动安装相关依赖。
3. 根据具体任务需求，预先下载预训练模型来提高安装速度。

通过以上步骤，用户可以轻松安装和使用 DeepKE 来进行知识提取任务。与此同时，该项目在持续更新中，将在未来版本中引入更强的 LLM 支持。欢迎用户反馈使用中的问题和建议。