CodeFuse-Query：以数据为中心的静态代码分析系统

中文 | English

</div>

什么是CodeFuse-Query？

在大规模软件开发领域，对动态且多方面的静态代码分析的需求已超出了传统工具的能力范围。为了弥补这一差距，我们推出了CodeFuse-Query，这是一个通过融合领域优化系统设计和逻辑导向计算设计来重新定义静态代码分析的系统。

CodeFuse-Query将代码分析重新构想为一项数据计算任务，支持每天扫描超过100亿行代码和300多种不同的任务。它优化了资源利用，优先考虑数据的可重用性，应用增量代码提取，并引入了专门针对代码变更的任务类型，突显了其领域优化设计。系统的逻辑导向方面采用了Datalog，利用独特的两层架构COREF将源代码转换为数据事实。通过一种独特的语言Godel，CodeFuse-Query能够将复杂任务表述为逻辑表达式，充分利用Datalog的声明性优势。总体而言，CodeFuse-Query平台分为三个主要部分：代码数据模型、代码查询DSL和平台产品化服务。

代码数据模型：COREF

我们定义了一个代码数据和标准化模型：COREF，所有代码都需要通过各种语言提取器转换为这个模型。 COREF主要包含以下信息： COREF = AST（抽象语法树）+ ASG（抽象语义图）+ CFG（控制流图）+ PDG（程序依赖图）+ 调用图 + 类层次结构 + 文档（文档/注释）注意：由于每种类型信息的计算难度不同，并非所有语言的COREF信息都包含上述全部内容。基本信息主要由AST、ASG、调用图、类层次结构和文档组成，而其他信息（CFG和PDG）仍在构建中，将逐步支持。

代码查询DSL

基于生成的COREF代码数据，CodeFuse-Query使用一种名为Gödel的自定义DSL语言进行查询，以满足代码分析需求。 Gödel是一种基于逻辑推理语言Datalog的逻辑推理语言，通过"事实"和"规则"推导出新的事实。Gödel也是一种声明式语言，与命令式编程相比，更注重描述"需要什么"，而将实现交给计算引擎。由于代码已转换为关系型数据（COREF数据以关系型数据表的形式存储），有人可能会问为什么不直接使用SQL或使用SDK，而是学习一种新的DSL语言。原因是Datalog具有单调性和终止性，意味着Datalog牺牲了一些表达能力，而Gödel继承了这一特性。

与SDK相比，Gödel的主要优势在于易学易用；其声明式特性意味着用户无需关注中间计算过程，而可以像SQL一样简单地描述需求。
与SQL相比，Gödel的优势在于更强的描述能力和更快的计算速度，例如在描述递归算法和多表联合查询时，SQL难以实现。

平台化、产品化

CodeFuse-Query包括Sparrow CLI和在线服务Query Center。Sparrow CLI包含所有组件和依赖项，如提取器、数据模型、编译器等，允许用户在本地生成代码数据并进行查询（有关Sparrow CLI的使用，请参阅第3节：安装、配置和运行）。如果用户需要在线查询，可以使用Query Center进行实验。

支持分析的编程语言

目前，CodeFuse-Query支持11种编程语言的数据分析。其中，5种语言（Java、JavaScript、TypeScript、XML、Go）的支持非常成熟，而其余6种语言（Object-C、C++、Python3、Swift、SQL、Properties）处于测试阶段，还有改进和完善的空间。具体支持状态如下表所示：

语言	状态	COREF模型节点数
Java	成熟	162
XML	成熟	12
TS/JS	成熟	392
Go	成熟	40
OC/C++	测试	53/397
Python3	测试	93
Swift	测试	248
SQL	测试	750
Properties	测试	9

注：语言状态的成熟度是根据COREF包含的信息类型和实际实现情况确定的。除OC/C++外，所有语言都支持完整的AST信息和文档，而对于Java，Java的COREF还支持ASG、调用图、类层次结构和部分CFG信息。

快速开始

安装、配置和运行

文档

教程

在线教程

目录结构说明

cli：命令行工具的入口点，提供统一的命令行界面，调用其他模块完成具体功能
language：各种语言的核心数据和数据建模（lib）。关于开放程度，请参考"关于开源范围的一些说明"部分
doc：参考文档
examples：Gödel查询语言示例
tutorial：CodeFuse-Query开发容器使用教程

关于开源范围的一些说明

目前，无法从源代码构建可执行程序，因为在此版本中并非所有模块都已开源，缺失的模块将在未来一年内发布。尽管如此，为了确保完整体验，我们已发布完整安装包供下载，请查看Release页面。关于语言的开放程度，您可以参考下表：

语言	数据建模开源	数据核心开源	成熟度
Python	是	是	正式版
Java	是	否	正式版
JavaScript	是	否	正式版
Go	是	否	正式版
XML	是	否	正式版
C语言系列	否	否	测试版
SQL	否	否	测试版
Swift	否	否	测试版
Properties	否	否	测试版