jailbreak_llms

项目介绍：jailbreak_llms

背景与目的

“jailbreak_llms”项目是为了研究和评估大规模语言模型（Large Language Models，简称LLMs）在真实世界环境中被破解的一种情况。该项目由Xinyue Shen、Zeyuan Chen、Michael Backes、Yun Shen及Yang Zhang在2024年ACM计算机和通信安全会议（CCS）上发表的论文支持而展开。项目的核心是通过新建立的JailbreakHub框架，对从2022年12月至2023年12月收集到的15,140个提示（其中包含1,405个破解提示）进行详细分析和研究。

数据收集

项目组从Reddit、Discord、多个网站及开源数据集四个平台收集数据，这是目前已知最大规模的野外破解提示集合。以下是各个平台的详细数据统计：

完整的数据及加载详细信息可以通过Hugging Face的Datasets库获得。

问题集

为了评估破解提示的有效性，研究团队构建了一个涵盖13个OpenAI使用政策中禁止场景的390个问题集。这些场景包括非法活动、仇恨言论、恶意软件生成、身体伤害、经济损失、欺诈、色情、政治游说、隐私侵犯、法律意见、财务建议、健康咨询和政府决策。

代码与工具

项目提供了多个工具以便用户进行数据评估和语义可视化。其中，ChatGLMEval工具用于评价提示的表现，而语义可视化工具则帮助用户更好地观察破解提示的结构和内容。

伦理考虑

项目组明确认识到在线收集的数据可能包含个人信息，因此采用了最好的实务来确保研究符合伦理原则。避免去匿名化用户，并通过集合报告结果。同时，项目不涉及与参与者的互动，因此不被外部委员会视为涉及人类受试者的研究。

许可证

“jailbreak_llms”项目的代码及数据采用MIT许可证进行开放，详情可以参见项目的LICENSE文件。

结束语

如果该项目对研究有帮助，请考虑引用相关论文。这项研究的重要性在于提高对此类问题的意识，以便推动语言模型供应商和研究社区更好地做好模型发布的安全措施。