ChatAFL

ChatAFL 项目介绍

ChatAFL 是一个由大语言模型（LLMs）指导的协议模糊测试工具。它是在 AFLNet 的基础上构建的，并集成了三个实质性的组件。首先，ChatAFL 利用大语言模型提取协议的机器可读语法，用于结构感知突变。其次，它通过大语言模型增加了记录的消息序列初始种子的多样性。最后，它借助大语言模型生成新的消息以突破覆盖瓶颈。该项目在 ProfuzzBench 环境中配置，确保它与现有模糊测试格式的无缝集成。

项目目录结构

ChatAFL 项目的文件夹结构如下：

ChatAFL-Artifact
├── aflnet: 修改后的 AFLNet 版本，输出状态和状态转换
├── analyse.sh: 分析脚本
├── benchmark: 修改后的 ProfuzzBench，包含仅基于文本的协议并新增 Lighttpd 1.4
├── clean.sh: 清理脚本
├── ChatAFL: ChatAFL 的源代码，包括论文中提出的所有策略
├── ChatAFL-CL1: 仅使用结构感知突变的 ChatAFL
├── ChatAFL-CL2: 仅使用结构感知和初始种子丰富化的 ChatAFL
├── deps.sh: 安装依赖项的脚本，执行时需要输入密码
├── README: 此文件
├── run.sh: 执行脚本，用于在测试对象上运行模糊器并收集数据
└── setup.sh: 准备脚本，用于设置 Docker 镜像

引用 ChatAFL

ChatAFL 已被接受将在第 31 届年度网络和分布式系统安全研讨会（NDSS）2024 上发表。如果您在科学研究中使用了此代码，请引用该论文。

安装和使用

安装依赖项

您需要安装 Docker、Bash、Python3 以及 pandas 和 matplotlib 库。我们提供了一个助手脚本 deps.sh ，执行该脚本来确保所有依赖项已安装。

准备 Docker 镜像

运行以下命令设置所有 Docker 镜像，其中包含所有的模糊器和测试对象。该过程大约需要 40 分钟。

KEY=<OPENAI_API_KEY> ./setup.sh

运行实验

使用 run.sh 脚本运行实验。例如，通过以下命令创建一个容器，运行 ChatAFL 模糊器来测试 pure-ftpd 对象 5 分钟：

./run.sh 1 5 pure-ftpd chatafl

完成后，benchmark 目录下会生成包含每次运行结果的文件夹。

分析结果

使用 analyze.sh 脚本分析数据，并生成展示每个测试对象模糊器的平均代码和状态覆盖率随时间变化的图表。

清理

完成对工件的评估后，运行 clean.sh 脚本确保只保留必要的文件。

功能分析

检查 LLM 生成的语法

生成语法的源码位于 afl-fuzz.c 中的 setup_llm_grammars 函数。

检查富集的种子

种子富集代码位于 afl-fuzz.c 中的 get_seeds_with_message_types 函数。

检查状态停滞响应

状态停滞处理代码在 fuzz_one 函数中。

实验结果复现

ChatAFL 的实验使用了大量资源，难以在单台普通计算机上一天内完成全部实验。为评估项目，我们缩小了实验规模，仅使用部分模糊器、对象和迭代。

自定义和优化

可以对 ChatAFL 进行增强或实验，调整 fuzzer 参数，或添加新的测试对象。每个 ChatAFL 版本都包含一个 Dockerfile，确保构建环境与测试对象一致。

限制

与 OpenAI 的大语言模型交互存在并行化限制，模型每分钟限制 150,000 个 token。

特别感谢

感谢 AFLNet 和 ProFuzzBench 的创建者提供给社区的工具和基础设施。

许可证

此项目根据 Apache 许可证 2.0 授予许可。详情请查看 LICENSE 文件。