awesome-llm-security

项目介绍：Awesome LLM Security

"Awesome LLM Security" 是一个精心策划的项目，聚焦于大型语言模型（LLM）安全领域。这个项目汇集了相关的工具、文档和优秀的项目，致力于帮助研究人员、开发人员和爱好者了解和提升LLM的安全性。通过分析和分享最新的研究成果与工具，项目为应对LLM安全挑战提供资源支持。

论文分类

白盒攻击

白盒攻击研究者通过了解内部系统细节，直接对模型进行测试。此领域的研究包括《视觉对抗示例突破大型语言模型》等多项创新研究，探讨多模态方法和图像劫持等技术。

黑盒攻击

与白盒攻击不同，黑盒攻击者无需内部系统信息，依赖反向推断模型行为。其中的代表论文有《真实世界LLM应用程序通过间接提示注入的攻击》，以及《GPT-4太聪明而不安全》等关注安全漏洞和获取机密信息的方法。

后门攻击

在后门攻击中，攻击者在保证正常功能的同时藏入恶意行为。代表研究有《利用触发器注入的文本后门攻击》及其对模型安全性的分析。

防御策略

防御研究关注如何保护模型免受攻击。项目中有《通过鲁棒对齐LLM防御对抗攻击》等论文，探索对抗对齐破坏攻击的方法。

平台安全

此部分专注于平台安全性，如对ChatGPT插件的系统化安全评估，揭示LLM平台中潜在的安全薄弱点。

调查

项目中包含大量调查研究，如《大型语言模型的安全和隐私挑战调查》分析，帮助理解并应对各种安全威胁。

工具

项目提供多个实用工具，帮助用户测试和加强LLM的安全性：

• Plexiglass: 用于LLM安全测试的工具箱。
• PurpleLlama: 提高LLM安全性评估的工具集。
• Rebuff: 自动硬化的提示注入检测器。
• Garak: LLM漏洞扫描工具。

文章

项目中还收录了多篇文章，分享业内的最新攻击手法和防范策略，包括“如何破坏Auto-GPT并逃逸Docker容器”的实际案例分析，以及提示注入攻击的细节探讨。

其他优秀项目与资源

为了帮助社区持续改进项目，"Awesome LLM Security" 还分享了其他相关项目及资源，比如 Mozilla 发起的 0day 漏洞赏金计划，以及其他多个关注LLM安全的项目与博客资源。

总的来说，"Awesome LLM Security" 项目是一个全面的资源库，不仅罗列最新的研究论文和实用工具，还包括许多增强LLM安全的实践指南和社区资源。这些内容对于关注LLM安全领域的研究人员和技术人员来说都是宝贵的，能有效帮助他们提升LLM应用的安全性。