OSS-Fuzz-Gen: 利用大语言模型生成模糊测试目标

OSS-Fuzz-Gen:人工智能驱动的模糊测试新纪元

在软件安全领域,模糊测试(Fuzzing)一直是发现漏洞的重要手段。然而,编写高质量的模糊测试目标往往需要大量的人力和专业知识。为了突破这一瓶颈,Google推出了OSS-Fuzz-Gen框架,利用大语言模型(LLM)的强大能力,为C/C++项目自动生成模糊测试目标。这一创新方法不仅大大提高了模糊测试的效率,还能发现传统方法难以触及的漏洞。

框架概述

OSS-Fuzz-Gen是一个开源框架,它结合了大语言模型和OSS-Fuzz平台的优势。该框架的主要目标是:

为现有的OSS-Fuzz项目自动生成或修改模糊测试目标,以解除模糊测试阻塞点并提高代码覆盖率。
为全新的OSS-Fuzz项目自动生成模糊测试目标,简化项目接入流程。

目前,OSS-Fuzz-Gen主要聚焦于C/C++项目,但未来有望扩展到其他编程语言。

OSS-Fuzz-Gen框架概览

工作流程

OSS-Fuzz-Gen的工作流程包括以下几个关键步骤:

识别潜在目标: 利用Fuzz Introspector工具分析项目代码,找出覆盖率低但具有高潜力的代码部分。
生成提示: 根据项目特定信息创建提示,指导大语言模型生成模糊测试目标。
模型生成: 使用大语言模型根据提示生成模糊测试目标代码。
编译与运行: 将生成的模糊测试目标编译并运行,观察代码覆盖率变化和潜在崩溃。
错误修复: 如果生成的目标编译失败,系统会要求模型修改代码以解决编译错误。

支持的模型

OSS-Fuzz-Gen支持多种大语言模型,包括:

Vertex AI系列: code-bison, code-bison-32k
Gemini系列: Pro, Ultra, Experimental, 1.5
OpenAI系列: GPT-3.5-turbo, GPT-4, GPT-4o (包括Azure版本)

这种多模型支持使研究人员能够比较不同模型在生成模糊测试目标方面的表现。

评估指标

为了衡量生成的模糊测试目标的质量,OSS-Fuzz-Gen使用了四个关键指标:

可编译性: 生成的代码是否能成功编译。
运行时崩溃: 执行过程中是否出现崩溃。
运行时覆盖率: 测试过程中覆盖的代码行数。
覆盖率差异: 与现有人工编写的模糊测试目标相比,新增覆盖的代码行数。

这些指标全面反映了生成目标的实用性和有效性。

实验结果

在2024年1月的一次大规模实验中,OSS-Fuzz-Gen对297个开源项目的1300多个基准进行了测试。结果令人振奋:

成功为160个C/C++项目生成了有效的模糊测试目标。
最高实现了29%的代码行覆盖率提升。
发现了6个新的漏洞,这些漏洞是现有人工编写的模糊测试无法触及的。

这些结果充分证明了OSS-Fuzz-Gen在提高模糊测试效率和发现隐藏漏洞方面的巨大潜力。

发现的漏洞

通过OSS-Fuzz-Gen生成的模糊测试目标,已经发现了多个重要漏洞,包括:

cJSON项目中的越界读取
libplist项目中的越界读取
hunspell项目中的越界读取
zstd项目中的越界写入
两个未公开项目中的栈缓冲区下溢和未初始化内存使用

这些发现证明了OSS-Fuzz-Gen能够触及传统方法难以覆盖的代码路径,从而发现潜在的安全问题。

代码覆盖率提升

OSS-Fuzz-Gen在多个项目中实现了显著的代码覆盖率提升,以下是部分项目的改进数据:

项目	覆盖率提升百分比
tinyxml2	29.84%
inih	29.67%
lodepng	26.21%
libarchive	23.39%
cmark	21.61%

这些数据表明,OSS-Fuzz-Gen能够有效地扩大模糊测试的覆盖范围,提高发现潜在漏洞的可能性。

使用指南

对于想要尝试OSS-Fuzz-Gen的开发者和研究人员,项目提供了详细的使用指南。主要步骤包括:

安装依赖项
设置LLM访问权限
配置基准测试
设置提示模板
运行实验
分析结果

详细的操作步骤可以在项目的USAGE.md文件中找到。

未来展望

OSS-Fuzz-Gen团队计划在以下几个方面继续推进研究:

扩大基准测试范围,覆盖更多的OSS-Fuzz项目。
改进提示工程,提供更多项目特定的上下文信息。
探索模型微调技术,进一步提高生成质量。
扩展到C/C++以外的其他编程语言。
研究如何为完全新的项目自动生成模糊测试目标。

开源合作

OSS-Fuzz-Gen是一个开源项目,欢迎社区贡献。研究人员和开发者可以通过以下方式参与:

在GitHub上提交问题或拉取请求
贡献新的提示模板或基准测试
探索新的大语言模型在生成模糊测试目标方面的应用

合作邀请

有兴趣合作的个人或团队可以通过GitHub issues或发送邮件至oss-fuzz-team@google.com与项目团队联系。

结语

OSS-Fuzz-Gen代表了模糊测试领域的一次重大突破。通过结合大语言模型的生成能力和OSS-Fuzz平台的强大基础设施,该框架为自动化软件安全测试开辟了新的可能性。随着技术的不断进步和社区的广泛参与,我们有理由相信,OSS-Fuzz-Gen将在提高软件安全性、发现潜在漏洞方面发挥越来越重要的作用。

对于软件开发者、安全研究人员和开源社区来说,OSS-Fuzz-Gen提供了一个强大的工具,帮助他们更高效地发现和修复潜在的安全问题。随着项目的不断发展和完善,我们期待看到更多令人兴奋的应用案例和研究成果。