GraphAr: Apache孵化器中的开源图数据存储与检索格式

GraphAr:为图数据存储与检索提供开放标准

在当今数据驱动的世界中,图数据处理已成为众多实际应用的重要基石。从社交网络分析到数据挖掘,从网络路由到科学计算,图数据无处不在。然而,随着图数据规模和复杂度的不断增长,如何高效地存储、检索和处理这些数据成为了一个亟待解决的问题。Apache孵化器中的GraphAr项目应运而生,旨在为这一挑战提供一个开放、标准化的解决方案。

GraphAr项目简介

GraphAr(Graph Archive的简称)是一个正在Apache孵化器中孵化的开源项目。它的目标是为各种应用和系统(包括内存存储、外部存储、数据库、图计算系统和交互式图查询框架等)提供一种便捷高效的图数据构建和访问方式。

GraphAr项目主要包含两个核心组件:

1. GraphAr格式:一种用于存储图数据的标准化、与系统无关的格式。
2. GraphAr库:一套用于读取、写入和转换GraphAr格式数据的库。

通过使用GraphAr,开发者和研究人员可以:

• 以系统无关的方式存储和持久化图数据
• 使用提供的库轻松访问和生成GraphAr格式数据
• 利用Apache Spark快速操作和转换GraphAr格式数据

GraphAr格式详解

GraphAr格式专为存储属性图而设计。它使用元数据记录图的所有必要信息,并以分块的方式维护实际数据。

在GraphAr中,一个属性图由顶点和边组成。每个顶点包含一个唯一标识符,以及:

• 描述顶点类型的文本标签
• 一组属性,每个属性可以表示为键值对

每条边同样包含一个唯一标识符,以及:

• 出发顶点(源点)
• 到达顶点(目标点)
• 描述两个顶点之间关系的文本标签
• 一组属性

下图展示了一个包含两种类型顶点("person"和"comment")和三种类型边的属性图示例:

GraphAr中的顶点存储

GraphAr采用逻辑表和物理表相结合的方式来存储顶点数据。

逻辑顶点表

每种类型的顶点(具有相同标签)构成一个逻辑顶点表。在这个表中,每个顶点被分配一个从0开始的全局索引(称为内部顶点ID),对应于该顶点在逻辑顶点表中的行号。

物理顶点表

为了提高读写效率,逻辑顶点表会被划分为多个连续的顶点块。同时,为了支持随机访问,相同标签的顶点块大小是固定的。此外,逻辑表的列会被划分为几个列组,以支持只访问所需属性而不读取所有属性文件,并且可以在不修改现有文件的情况下为顶点添加属性。

GraphAr中的边存储

GraphAr同样使用逻辑表和物理表来存储边数据。

逻辑边表

对于维护一种类型的边(具有相同的源标签、边标签和目标标签),会建立一个逻辑边表。为了支持快速从图存储文件创建图,逻辑边表可以以类似CSR/CSC的方式维护拓扑信息,即边按源顶点或目标顶点的内部顶点ID排序。

物理边表

与顶点表类似,逻辑边表也被划分为若干子逻辑表,每个子逻辑表包含源(或目标)顶点在同一顶点块中的边。根据分区策略和边的顺序,GraphAr中的边可以按照四种类型之一存储:

1. ordered_by_source
2. ordered_by_dest
3. unordered_by_source
4. unordered_by_dest

GraphAr库

GraphAr提供了一系列库,用于读取、写入和转换GraphAr格式文件。目前支持以下编程语言和环境:

• C++库
• Scala with Spark库
• Java库(开发中)
• Python with PySpark库(开发中)

这些库为开发者提供了便捷的API,使得操作GraphAr格式数据变得简单高效。

社区参与和贡献

作为一个Apache孵化器项目,GraphAr欢迎来自社区的贡献。如果您对GraphAr感兴趣,可以通过以下方式参与:

• 阅读贡献指南
• 在GitHub上提交Issues报告bug或提出功能请求
• 在开发者邮件列表中讨论
• 在GitHub讨论区提问
• 参加双周社区会议

结语

GraphAr项目为图数据的存储和检索提供了一个开放、标准化的解决方案。通过提供统一的数据格式和便捷的操作库,GraphAr有望成为连接各种图处理系统和应用的桥梁,为图数据的管理和分析带来新的可能。

随着项目在Apache孵化器中的不断发展,我们期待看到GraphAr在更多领域发挥作用,推动图数据处理技术的进步。无论您是开发者、研究人员还是数据科学家,都欢迎加入GraphAr社区,共同探索图数据的无限潜力。🚀📊🔗