persuasive_jailbreaker

<h1 align='center' style="text-align:center; font-weight:bold; font-size:2.0em;letter-spacing:2.0px;"> 小明如何说服大语言模型越狱：通过人性化大语言模型重新思考说服力以挑战人工智能安全 </h1> <a href="https://www.yi-zeng.com/" target="_blank" style="text-decoration: none;">曾毅1,*</a> ,  <a href="https://hopelin99.github.io/" target="_blank" style="text-decoration: none;">林宏鹏2,*</a> ,  <a href="https://communication.ucdavis.edu/people/jingwen-zhang" target="_blank" style="text-decoration: none;">张静文3</a> <a href="https://cs.stanford.edu/~diyiy/" target="_blank" style="text-decoration: none;">杨迪一4</a> ,  <a href="https://ruoxijia.info/" target="_blank" style="text-decoration: none;">贾若昕1,†</a> ,  <a href="https://wyshi.github.io/" target="_blank" style="text-decoration: none;">施蔚彦4,†</a>   1弗吉尼亚理工大学   2中国人民大学   3加州大学戴维斯分校   4斯坦福大学 *主要作者    †共同指导 arXiv预印本, 2024 <a href="https://arxiv.org/abs/2401.06373" target="_blank" style="text-decoration: none;">[arXiv]</a>      <a href="https://chats-lab.github.io/persuasive_jailbreaker/" target="_blank" style="text-decoration: none;">[项目主页]</a>

重要更新 [2024年4月2日] 🚀

我们分享了一种生成PAP的替代方法，无需访问有害的PAP示例，而是依赖微调的GPT-3.5。

🔍 新内容

我们更新的核心在新目录：/PAP_Better_Incontext_Sample。

📚 如何使用

请进入/PAP_Better_Incontext_Sample文件夹并探索test.ipynb开始。该示例将引导您完成对前5种说服技巧进行高质量PAP采样的过程。

可复现性和代码

出于安全考虑，在本仓库中我们仅发布了论文中描述的说服分类法和上下文采样代码。persuasion_taxonomy.jsonl包括40种说服技巧及其定义和示例。incontext_sampling_example.ipynb包含使用这些说服技巧进行上下文采样的示例代码。这些技巧和代码可用于生成说服性对抗提示(PAPs)或其他说服任务。

要训练一个有说服力的改写器，研究人员可以生成问题或使用现有问题，使用incontext_sampling_example.ipynb进行说服/攻击。随后，可以通过人工标注或使用GPT-4 Judge评估这些采样结果，从而生成适合训练的数据。

出于责任考虑，我们选择不公开发布完整的攻击代码。但是，出于安全研究目的，研究人员可以通过这个Google表单申请。获批后，我们将向申请者发布advbench子数据集（由Chao等人优化）上的越狱数据。软件的访问权限是临时授予的，完全由作者自行决定。作者保留随时拒绝或限制任何个人或实体访问软件的权利，无需通知且不承担任何责任。

简介

简要概述： 我们的说服性对抗提示是人类可读的，在对齐的大语言模型上实现了**92%**的攻击成功率，无需专门优化。

我们引入了什么？ 一个包含40种说服技巧的分类法，帮助您提高说服力！

我们发现了什么？ 通过迭代应用我们分类法中的不同说服技巧，我们成功越狱了先进的对齐大语言模型，包括Llama 2-7b Chat、GPT-3.5和GPT-4 — 实现了惊人的92%攻击成功率，值得注意的是无需任何特定优化。

现在，您可能认为如此高的成功率是我们发现的顶点，但还有更多。出乎意料的是，我们发现像GPT-4这样更先进的模型对说服性对抗提示(PAPs)更为脆弱。更重要的是，为了抵御这些PAPs而制定的自适应防御也能有效地保护against其他攻击（如GCG、Masterkey或PAIR）。

<img src="https://yellow-cdn.veclightyear.com/ab5030c0/e894779c-b1a6-4cf0-bd55-daaeedc4531d.png" alt="persuasion_taxonomy" width="90%"/> 系统的说服技巧分类法。

快速一览

https://github.com/CHATS-lab/persuasive_jailbreaker/assets/61967882/3c04d83c-564d-40a5-87e8-423e0d377012

说服性对抗提示 (PAP)

我们将大语言模型人性化并作为类人交流者进行说服，提出可解释的说服性对抗提示 (PAP)。PAP将说服技巧无缝融入越狱提示构建中，突出了与更复杂和微妙的类人交流相关的风险，以推进人工智能安全。

<img src="https://yellow-cdn.veclightyear.com/ab5030c0/497b128f-731b-45d9-8d82-d00c526360d1.png" alt="generation method" width="90%"/> 分类法指导的说服性对抗提示 (PAP) 生成方法概览。

A. 说服性改写器 训练：第1步是获取训练数据，我们应用各种方法（如上下文提示、微调改写器等）和说服分类法，将普通有害查询改写为高质量PAP作为训练数据。然后，在第2步中，我们使用训练数据微调一个说服性改写器，可以稳定地改写有害查询。

B. 说服性改写器 部署：第1步是使用微调后的说服性改写器为新的有害查询生成指定说服技巧的PAP。然后，在第2步中，我们将使用GPT4-Judge评估目标模型产生的输出的有害程度。

越狱研究 I：广泛扫描

<img src="https://yellow-cdn.veclightyear.com/ab5030c0/a37a9486-5736-4569-b01b-db63ddff8365.png" alt="broad scan" width="90%"/> 对GPT-3.5在OpenAI的14个风险类别上进行广泛扫描的结果。

我们展示了PAP成功率（%），即引发GPT-4 Judge评判的最高有害性得分5的PAP百分比。每个单元格代表一个风险-技巧对，每个单元格的PAP总数为60（3个普通查询 × 20个PAP变体）。每个风险类别最有效的前5种技巧用红色或白色标注（超过30%的结果用白色强调）。为清晰起见，风险类别和技巧按从左到右、从上到下的PAP成功率平均值递减排序。左侧类别（如欺诈/欺骗）更容易受说服影响，顶部技巧（如逻辑诉求）更有效。底行显示未使用说服的普通查询结果。

我们发现，说服在所有14个风险类别中都能有效地越狱GPT-3.5。风险类别与说服技巧之间的相互作用突显了应对这种用户引发的说服风险的挑战。这种风险，尤其是涉及多技巧和多轮交流时，强调了进一步调查的紧迫性。

越狱研究 II：深入迭代探测

在真实世界的越狱中，用户会改进有效的提示以提高越狱过程。为模仿人类改进行为，我们对成功的PAP进行训练，并迭代部署不同的说服技巧。这样做可以比现有的算法聚焦攻击更有效地越狱流行的对齐大语言模型，如Llama-2和GPT模型。

我们还将试验次数扩展到10次，以测试PAPs的极限，并报告了10次试验的整体ASR。不同模型家族的整体ASR各不相同：PAPs在Llama-2和GPTs上达到了92%的ASR，但在Claude上受到限制。值得注意的是，如果模型家族容易受到说服，那么更强大的模型可能比较弱的模型更容易受到PAPs的影响。从1次和3次试验的ASR中，我们可以看到GPT-4比GPT-3.5更容易受到PAPs的影响。这突显了类人说服性交互所带来的独特风险。

重新评估现有防御措施并探索自适应防御

我们重新审视了一系列事后对抗性提示防御策略。即使是最有效的防御也只能将GPT-4的ASR降低到60%，这仍然高于最佳基线攻击（54%）。这强化了对更强大模型改进防御的需求。

我们研究了两种自适应防御策略："自适应系统提示"和"目标性摘要"，旨在抵消PAPs中说服性语境的影响。我们发现它们在抵消PAPs方面很有效，并且还可以防御PAPs以外的其他类型的越狱提示。我们还发现安全性和实用性之间存在权衡。因此，防御策略的选择应根据个别模型和具体的安全目标进行定制。

伦理与披露

本项目提供了一种结构化的方法来大规模生成可解释的说服性对抗提示（PAP），这可能允许普通用户在没有太多计算能力的情况下越狱大型语言模型。但正如前面提到的，一位Reddit用户已经在此之前使用说服来攻击大型语言模型，因此迫切需要更系统地研究围绕说服性越狱的漏洞，以更好地缓解它们。因此，尽管存在风险，我们认为完整分享我们的发现至关重要。在整个研究过程中，我们遵循了伦理准则。
首先，说服通常对普通人来说是一项艰巨的任务，所以即使有我们的分类法，没有经过训练的人可能仍然难以大规模地将一个简单的、有害的查询改写成成功的PAP。因此，来自数百万用户的广泛攻击的现实世界风险相对较低。我们还决定不公开经过训练的说服性改写器和相关代码管道，以防止人们轻易地改写有害查询。
为了最大限度地减少现实世界的危害，我们在发表前向Meta和OpenAI披露了我们的结果，因此本文中的PAPs可能不再有效。如前所述，Claude成功抵御了PAPs，展示了一种成功的缓解方法。我们还探索了不同的防御措施，并提出了新的自适应安全系统提示和基于摘要的新防御机制来缓解风险，这些已经显示出promising的结果。我们的目标是在未来的工作中改进这些防御措施。
总之，我们研究的目的是加强大型语言模型的安全性，而不是促进恶意使用。我们承诺根据技术进步持续监测和更新我们的研究，并将PAP微调详细信息仅限于经过认证并获得批准的研究人员使用。

引用

如果您在研究中发现这个有用，请考虑引用：

@misc{zeng2024johnny,
      title={How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs},
      author={Zeng, Yi and Lin, Hongpeng and Zhang, Jingwen and Yang, Diyi and Jia, Ruoxi and Shi, Weiyan},
      year={2024},
      eprint={2401.06373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
  }