🤝 贡献

我们欢迎社区成员为增强GraphRAG Local Ollama做出贡献！请参阅我们的贡献指南，了解如何参与的更多详情。

需要支持llama集成。

🚀 GraphRAG Local Ollama - 知识图谱

欢迎来到GraphRAG Local Ollama！这个仓库是微软GraphRAG的一个令人兴奋的改编版本，专门支持使用Ollama下载的本地模型。告别昂贵的OpenAPI模型，迎接使用Ollama进行高效、经济的本地推理！

📄 研究论文

关于GraphRAG实现的更多细节，请参考GraphRAG论文。

论文摘要

使用检索增强生成（RAG）从外部知识源检索相关信息，使大型语言模型（LLMs）能够回答私有和/或先前未见过的文档集合的问题。然而，RAG在针对整个文本语料库的全局问题上失效，比如"数据集的主要主题是什么？"，因为这本质上是一个查询聚焦摘要（QFS）任务，而不是一个明确的检索任务。同时，先前的QFS方法无法扩展到典型RAG系统索引的文本数量。为了结合这些对比方法的优势，我们提出了一种图形RAG方法来回答私有文本语料库的问题，该方法可以随用户问题的通用性和要索引的源文本数量而扩展。我们的方法使用LLM分两个阶段构建基于图形的文本索引：首先从源文档中派生实体知识图，然后为所有密切相关的实体组预生成社区摘要。给定一个问题，每个社区摘要用于生成部分响应，然后所有部分响应再次汇总为最终的用户响应。对于100万token范围内数据集的一类全局理解问题，我们展示了Graph RAG在生成答案的全面性和多样性方面相比简单的RAG基线有显著改进。

🌟 特性

• 本地模型支持： 利用Ollama的本地模型进行LLM和嵌入。
• 经济高效： 消除对昂贵OpenAPI模型的依赖。
• 简易设置： 简单直接的设置过程。

📦 安装和设置

按照以下步骤设置此仓库并使用Ollama提供的本地模型运行GraphRag：

1. 创建并激活新的conda环境：（请坚持使用给定的Python 3.10版本以避免错误）

   conda create -n graphrag-ollama-local python=3.10
   conda activate graphrag-ollama-local

2. 安装Ollama：

   • 访问Ollama的网站获取安装说明。
   • 或者，运行：

   curl -fsSL https://ollama.com/install.sh | sh #适用于Linux的ollama
   pip install ollama

3. 使用Ollama下载所需模型，我们可以从(mistral, gemma2, qwen2)中选择LLM，以及Ollama提供的任何嵌入模型：

   ollama pull mistral  #llm
   ollama pull nomic-embed-text  #嵌入

4. 克隆仓库：

   git clone https://github.com/TheAiSingularity/graphrag-local-ollama.git

5. 进入仓库目录：

   cd graphrag-local-ollama/

6. 安装graphrag包 ** 这是最重要的步骤：

   pip install -e .

7. 创建所需的输入目录：这是存储实验数据和结果的地方 - ./ragtest

   mkdir -p ./ragtest/input

8. 将样本数据文件夹input/复制到./ragtest。input/包含运行设置的样本数据。您可以在这里以.txt格式添加自己的数据。

   cp input/* ./ragtest/input

9. 初始化./ragtest文件夹以创建所需文件：

   python -m graphrag.index --init --root ./ragtest

10. 移动settings.yaml文件，这是主要的预定义配置文件，配置了ollama本地模型：

    cp settings.yaml ./ragtest

用户可以通过更改模型进行实验。llm模型期望像llama3、mistral、phi3等语言模型，嵌入模型部分期望像mxbai-embed-large、nomic-embed-text等Ollama提供的嵌入模型。您可以在这里找到Ollama提供的完整模型列表https://ollama.com/library，这些模型可以在本地部署。LLM和嵌入的默认API基础URL分别是http://localhost:11434/v1和http://localhost:11434/api，因此它们被添加到各自的部分中。



11. 运行索引，这将创建一个图：

    python -m graphrag.index --root ./ragtest

12. 运行查询：仅支持全局方法

    python -m graphrag.query --root ./ragtest --method global "什么是机器学习？"

可以通过在settings.yaml中将graphml更改为"true"来保存图，这些图可以进一步用于可视化：

snapshots:
graphml: true

要可视化生成的graphml文件，您可以使用：https://gephi.org/users/download/ 或仓库中提供的脚本visualize-graphml.py：

将.graphml文件的路径传递给visualize-graphml.py中的以下行：

graph = nx.read_graphml('output/20240708-161630/artifacts/summarized_graph.graphml')

13. 可视化.graphml：

```bash
python visualize-graphml.py
```

引用

• 微软的原始GraphRAG仓库：GraphRAG
• Ollama：Ollama

通过遵循上述步骤，您可以设置并使用本地模型运行GraphRAG，使过程更加经济高效。