garak: 一个强大的大语言模型漏洞扫描工具

garak

garak: 大语言模型的安全守护者

在人工智能快速发展的今天,大语言模型(LLM)已经成为许多应用的核心技术。然而,这些强大的模型也可能存在各种安全漏洞,如幻觉、数据泄露、提示注入等问题。为了帮助开发者和研究人员更好地评估和提高LLM的安全性,一个名为garak的开源工具应运而生。

garak简介

garak是一个专门用于检测大语言模型漏洞的扫描工具。它的名字来源于《星际迷航:深空九号》中的角色Elim Garak,这个角色以狡猾和善于欺骗著称。正如这个名字所暗示的,garak的目标是通过各种巧妙的方法来"欺骗"和测试LLM,从而发现它们的弱点。

garak的主要功能包括:

检测模型的幻觉(hallucination)
发现数据泄露问题
测试提示注入(prompt injection)的脆弱性
评估模型生成错误信息的倾向
检查有毒内容生成
尝试越狱(jailbreak)攻击
以及其他多种安全弱点的检测

开发者将garak比作LLM世界的nmap。如果你熟悉网络安全领域的nmap工具,那么可以将garak理解为专门针对大语言模型的漏洞扫描器。

garak logo

garak的特点

开源免费: garak是一个完全开源的项目,采用Apache 2.0许可证。任何人都可以自由使用和贡献代码。
广泛的模型支持: garak支持多种主流的LLM,包括Hugging Face Hub上的生成模型、Replicate的文本模型、OpenAI API的聊天和续写模型等。它还支持通过REST API访问的模型,以及像llama.cpp这样的本地模型。
丰富的探测模块: garak包含多个探测模块(probes),每个模块专注于特定类型的漏洞或问题。例如,有专门检测DAN(Do Anything Now)攻击的模块,有测试编码注入的模块,还有评估模型是否会生成误导性内容的模块等。
灵活的配置: 用户可以根据需要选择要运行的探测模块,也可以指定使用哪些检测器(detectors)来分析模型的输出。
详细的报告: garak会生成详细的日志和报告,包括每次探测的结果、失败率等信息,方便用户分析和追踪问题。

如何使用garak

garak是一个命令行工具,主要在Linux和macOS上开发和测试。要开始使用garak,你可以通过以下步骤安装和运行:

安装garak:

python -m pip install -U garak

运行扫描:

基本的语法是:

garak <options>

例如,要使用OpenAI的GPT-3.5-turbo模型并运行编码注入测试,可以使用以下命令:

export OPENAI_API_KEY="your-api-key-here"
python3 -m garak --model_type openai --model_name gpt-3.5-turbo --probes encoding

分析结果:

garak会为每个探测模块显示一个进度条,并在生成完成后给出评估结果。如果任何尝试产生了不良行为,响应将被标记为FAIL,并给出失败率。

garak results

garak的工作原理

garak的工作流程大致如下:

从命令行读取模型类型和名称。
确定要运行的探测模块(probes)和检测器(detectors)。
启动一个生成器(generator)来与指定的LLM交互。
使用一个测试框架(harness)来执行探测。
最后,使用评估器(evaluator)处理结果。

garak的代码结构清晰,主要包含以下几个部分:

garak/probes/: 用于生成与LLM交互的类
garak/detectors/: 用于检测LLM是否表现出特定失败模式的类
garak/evaluators/: 评估报告方案
garak/generators/: 用于被探测的LLM插件
garak/harnesses/: 用于构建测试的类

开发自己的garak插件

garak的设计非常模块化,允许开发者创建自己的插件来扩展功能。如果你想开发自己的garak插件,可以遵循以下步骤:

查看其他插件的实现方式。
从一个基类继承,例如garak.probes.base.TextProbe。
尽可能少地重写方法。
使用交互式Python会话或运行测试插件来测试新代码。

garak的未来发展

作为一个活跃的开源项目,garak正在不断发展和改进。开发团队欢迎社区贡献,无论是提交错误报告、改进文档,还是开发新功能。

如果你对LLM安全感兴趣,或者正在开发使用LLM的应用,garak无疑是一个值得关注和使用的工具。它不仅可以帮助你发现潜在的安全问题,还能帮助你更好地理解LLM的行为和局限性。

要了解更多关于garak的信息,你可以访问garak的官方网站或GitHub仓库。你也可以加入他们的Discord社区与其他用户和开发者交流。

在人工智能和大语言模型快速发展的今天,安全性变得越来越重要。garak为我们提供了一个强大的工具来评估和提高LLM的安全性。正如garak项目页面上引用的一句话所说:"说谎是一种技能,如果你想保持卓越水平,就必须不断练习。" 通过使用garak,我们可以不断"练习"和改进我们的模型,使它们变得更加安全可靠。