Reasoning on Graphs (RoG) 学习资料汇总

Reasoning on Graphs (RoG) 是一个将大语言模型 (LLMs) 与知识图谱 (KGs) 相结合的可解释推理框架。本文汇总了 RoG 的相关学习资料,帮助读者快速了解和上手这一前沿研究方向。

1. 项目简介

RoG 的核心思想是利用知识图谱来指导大语言模型进行可解释和可信的推理。具体来说,RoG 包含以下关键步骤:

规划:基于知识图谱生成关系路径作为推理计划
检索:根据生成的计划从知识图谱中检索有效的推理路径
推理:利用检索到的路径指导大语言模型进行可信推理

通过这种方式,RoG 实现了将大语言模型的强大推理能力与知识图谱的结构化知识相结合,从而得到更加可解释和可靠的推理结果。

RoG框架图

2. 相关论文

RoG 的核心论文是:

Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning

这篇论文详细介绍了 RoG 的理论基础和具体实现方法。建议对 RoG 感兴趣的读者首先阅读这篇论文,以深入理解其核心思想。

3. 代码实现

RoG 的官方代码实现已在 GitHub 上开源:

RManLuo/reasoning-on-graphs

该仓库包含了 RoG 的完整实现,以及详细的使用说明。主要包括以下内容:

模型训练和推理代码
预处理脚本
预训练模型权重
示例数据集

4. 数据集

RoG 项目提供了两个经过预处理的数据集:

这些数据集可以直接用于训练和评估 RoG 模型。

5. 预训练模型

RoG 的预训练模型权重可以在 Hugging Face 上找到:

rmanluo/RoG

使用这些预训练权重,可以快速部署 RoG 模型进行推理。

6. 使用教程

以下是使用 RoG 进行推理的基本步骤:

安装依赖:

pip install -r requirements.txt

生成关系路径:

python src/qa_prediction/gen_rule_path.py \
        --model_name RoG \
        --model_path rmanluo/RoG \
        -d {RoG-webqsp,RoG-cwq} \
        --split test \
        --n_beam 3

使用 RoG 进行推理:

python src/qa_prediction/predict_answer.py \
        --model_name RoG \
        --model_path rmanluo/RoG \
        -d {RoG-webqsp,RoG-cwq} \
        --prompt_path prompts/llama2_predict.txt \
        --add_rul \
        --rule_path {rule_path} \

更详细的使用说明请参考 GitHub 仓库的 README。

7. 相关资源

8. 总结

Reasoning on Graphs (RoG) 为大语言模型与知识图谱的结合提供了一个新的范式,有望在可解释 AI、知识推理等领域产生重要影响。本文汇总的学习资料涵盖了理论基础、代码实现、数据集等多个方面,希望能够帮助读者快速入门这一前沿研究方向。随着相关研究的不断深入,我们期待看到 RoG 在更多实际应用中发挥作用。