MindGraph

欢迎来到MindGraph，这是一个概念验证、开源、API优先的基于图的项目，专为自然语言交互（输入和输出）而设计。这个原型作为构建和定制您自己的CRM解决方案的模板，重点关注易于集成和可扩展性。这里是在X上的公告，提供了更多背景信息。

入门指南

前提条件

开始之前，请确保您已安装以下内容：

• Python 3.6或更高版本
• Poetry（依赖管理和打包工具）

安装

1. 克隆仓库：

   git clone https://github.com/yourusername/MindGraph.git

2. 进入项目目录：

   cd MindGraph

3. 使用Poetry安装项目依赖：

   poetry install

   此命令将为项目创建一个虚拟环境，并安装pyproject.toml文件中指定的所有必需包。

• 注意：如果遇到任何依赖错误，可以运行：poetry add <依赖名称>将依赖添加到项目中。

环境设置

1. 在项目根目录创建一个.env文件。

2. 打开.env文件，添加以下行，将YOUR_API_KEY替换为您实际的OpenAI API密钥：

   OPENAI_API_KEY=YOUR_API_KEY

运行应用程序

安装依赖后，您可以使用以下命令启动Flask服务器：

poetry run python main.py

服务器将在http://0.0.0.0:81上启动。

项目结构

MindGraph组织为几个关键组件：

• main.py：应用程序的入口点。
• app/__init__.py：设置Flask应用并集成蓝图。
• models.py：管理实体和关系的内存图数据结构。
• views.py：托管API路由定义。
• integration_manager.py：处理集成函数的动态注册和管理。
• signals.py：设置用于创建、更新和删除实体的信号。

集成系统

MindGraph采用了一个复杂的集成系统，旨在动态扩展应用程序的基本功能。该系统的核心是integration_manager.py，它充当各种集成功能的注册表和执行器。这种模块化架构允许MindGraph无缝地整合AI驱动的功能，例如通过natural_input.py等集成将自然语言输入处理成结构化知识图。其他集成，包括add_multiple_conditional、conditional_entity_addition和conditional_relationship_addition，协同工作以确保应用程序数据模型的完整性和增强。

特性

实体管理：实体存储在内存图中，以便快速访问和操作，允许对人员、组织及其相互关系进行CRUD操作。

集成触发器：可以通过HTTP请求触发自定义集成功能，使CRM能够与外部系统交互或运行额外处理。

搜索功能：可以使用自定义查询参数轻松搜索实体及其关系。

AI就绪：设计时考虑了AI集成，便于整合智能数据处理和决策制定。

API端点

MindGraph提供了一系列RESTful端点：

• POST /<entity_type>：创建实体。
• GET /<entity_type>/<int:entity_id>：检索实体。
• GET /<entity_type>：列出某类型的所有实体。
• PUT /<entity_type>/<int:entity_id>：更新实体。
• DELETE /<entity_type>/<int:entity_id>：移除实体。
• POST /relationship：建立新关系。
• GET /search/entities/<entity_type>：搜索实体。
• GET /search/relationships：查找关系。

自定义集成端点

• POST /trigger-integration/<integration_name>：激活预定义的集成功能。

前端概述

MindGraph的前端特色是一个轻量级的交互式Web界面，便于动态可视化和管理基于图的数据模型。虽然MindGraph主要用作API，但前端对演示目的很有帮助。它利用HTML、CSS、JavaScript、Cytoscape.js进行图形可视化，以及jQuery处理AJAX请求。

特性

• 图形可视化：使用Cytoscape.js进行交互式图形渲染。
• 动态数据交互：支持实时数据获取、添加和图形更新，无需页面刷新。
• 搜索和高亮：允许用户搜索节点，高亮显示并列出匹配项。搜索表单目前被双重用作自然语言查询，这并不真正合理，但是快速展示功能的一种方式。（这主要用作API，前端仅用于演示目的）
• 数据提交表单：包括自然语言、URL输入和CSV文件上传的表单。
• 响应式设计：适应各种设备和屏幕尺寸。

工作流程

1. 初始化：页面加载时，初始化图形的样式和布局。
2. 用户交互：通过界面，用户可以：
   • 搜索节点，结果在图中高亮显示并在侧边栏列出。
   • 使用支持各种输入方法的表单添加数据。
   • 刷新图形以反映最新的后端数据。
3. 数据处理：用户输入被发送到后端，处理并集成，前端图形可视化相应更新。

基于模式的知识图谱创建

MindGraph使用schema.json文件来定义其知识图谱中实体的结构和关系。这个模式作为将自然语言输入解释和结构化为连贯图形格式的蓝图。它详细说明了节点类型（如Person、Organization、Concept）和它们之间可能的关系，确保生成的知识图谱符合一致的格式。这种方法允许自动化、AI驱动的处理自然语言输入，生成结构化数据，反映输入文本中固有的复杂相互关系。

在AI集成中使用schema.json

当create_knowledge_graph函数处理输入时，它参考schema.json来理解如何将识别的实体及其关系映射到图中。这包括：

• 基于模式定义识别节点类型和属性。
• 确定有效的关系类型及其特征。
• 构建输出以匹配预期的图形格式，便于与应用程序的数据模型无缝集成。

该模式确保AI生成的知识图谱不仅与应用程序的数据模型一致，而且详细丰富，捕捉输入中描述的实体之间的细微关系。

优势

• 一致性：确保从自然语言输入生成的所有知识图谱遵循相同的结构规则，使数据集成和解释更加直观。
• 灵活性：通过修改schema.json，可以轻松更新和扩展知识图谱结构，而无需更改代码库。
• AI集成：通过为预期输出提供明确的结构，促进使用高级AI模型进行自然语言处理，增强应用程序从非结构化数据中获取有意义见解的能力。

开发与扩展

添加新集成

要将新的集成整合到MindGraph中，请在integrations目录下创建一个Python模块。该模块应定义集成的逻辑，并包含一个register函数，将集成连接到IntegrationManager。确保您的集成与应用程序的组件正确交互，例如用于数据操作的models.py和通过API端点激活的views.py。这种方法允许MindGraph通过模块化和可重用的代码动态扩展其功能。

利用信号

信号会在实体生命周期事件中发出，为扩展功能或与其他系统同步提供钩子。

数据库集成和使用

MindGraph支持灵活的数据库集成，以增强其数据存储和检索能力。开箱即用，MindGraph包含对内存数据库和更强大的基于云的选项NexusDB的支持。这种灵活性允许轻松适应不同的部署环境和使用场景。

支持的数据库

• InMemoryDatabase：一个简单的内存图数据结构，用于快速原型设计和测试。由于其非持久性，不推荐用于生产环境。
• NexusDB：专为存储图、表格、文档、文件、向量等设计的一体化云数据库。提供共享知识图谱，用于全面的数据管理和分析。 配置数据库
• NebulaGraph：一个分布式、可扩展且闪电般快速的图数据库，支持实时查询和分析。适用于大规模图数据存储和处理。
• FalkorDB：一个知识数据库，提供低延迟和高吞吐量，内置支持向量搜索，并广泛支持Cypher查询语言。

数据库集成通过DATABASE_TYPE环境变量控制。要选择数据库，请设置此变量：

• memory用于内存数据库。
• nexusdb用于NexusDB集成。

export DATABASE_TYPE=nexusdb

• nebulagraph用于NebulaGraph集成。

注意：对于运行中的NebulaGraph，考虑使用Docker Desktop扩展、用于Colab/Linux的NebulaGraph-Lite（使用pip安装），或在文档中探索更多选项。

export DATABASE_TYPE=nebulagraph
export NEBULA_ADDRESS=127.0.0.1:9669

• falkordb用于FalkorDB集成。

注意：对于运行中的FalkorDB，考虑使用Docker镜像。

export DATABASE_TYPE=falkordb
export FALKOR_HOST=127.0.0.1
export FALKOR_PORT=6379
export FALKOR_GRAPH_ID=mindgraph

添加新的数据库集成

要将新的数据库系统集成到MindGraph中：

1. 实现数据库集成：在app/integrations/database下创建一个新的Python模块，遵循base.py中定义的抽象基类DatabaseIntegration。您的实现应为基类中的所有抽象方法提供具体方法。

2. 注册您的集成：修改app/integrations/database/init.py中的数据库类型检测逻辑，以包含您的新数据库类型。这涉及添加一个额外的elif语句来检查您的数据库类型并相应地设置CurrentDBIntegration。

3. 配置环境变量：如果您的集成需要自定义环境变量（例如，用于连接字符串、身份验证），请确保它们在MindGraph部署的环境中得到适当的记录和设置。

模式管理

对于需要模式定义的数据库（如NexusDB），在您的集成模块中包含一个模式管理策略。这可能涉及在启动时检查和更新数据库模式，以确保与当前版本的MindGraph兼容。

示例命令

使用curl创建一个人：

curl -X POST http://0.0.0.0:81/people \
-H "Content-Type: application/json" \
-d '{"name":"Jane Doe","age":28}'

示例用例

为了展示MindGraph集成系统的强大功能，这里有一些示例命令：

触发自然输入集成

curl -X POST http://0.0.0.0:81/trigger-integration/natural_input \
-H "Content-Type: application/json" \
-d '{"input":"Company XYZ organized an event attended by John Doe and Jane Smith."}'

贡献

老实说...我不维护项目。如果你想接管/管理这个项目，请让我知道（X/Twitter是个好渠道）。否则，请按原样享受这个概念验证启动套件 :)

许可

MindGraph根据MIT许可分发。有关更多信息，请参阅LICENSE。

联系

只需在Twitter/X上标记我 https://twitter.com/yoheinakajima

项目链接：https://github.com/yoheinakajima/MindGraph