deberta-v3-base-prompt-injection-v2

deberta-v3-base-prompt-injection-v2项目介绍

项目概述

deberta-v3-base-prompt-injection-v2是一个基于microsoft/deberta-v3-base模型微调的文本分类模型，专门用于检测和分类提示注入攻击。提示注入攻击是一种通过插入或修改提示来操纵语言模型，使其产生非预期输出的方法。该模型旨在通过识别这些恶意干预来增强语言模型应用程序的安全性。

模型特点

该模型由Protect AI团队开发，使用Apache License 2.0许可证。它主要针对英语语言进行了优化，能够将输入分类为良性（0）和检测到注入（1）两种类型。模型在检测英语提示注入方面表现出高度准确性，但不适用于检测越狱攻击或处理非英语提示。

数据集和训练

模型的训练数据集是从多个公开的开放数据集中精心组合而成，包含了广泛的提示变体。此外，开发团队还根据学术研究论文、文章、安全竞赛以及LLM Guard社区的反馈，创建了特定的提示注入样本。训练过程中测试了20多种配置，以优化模型的检测能力。

评估指标

在评估数据集上，模型展现出优秀的性能：

• 准确率：99.93%
• 召回率：99.94%
• 精确率：99.92%
• F1分数：99.93%

在训练后的评估中，使用20,000个来自未训练数据集的提示进行测试，模型仍然保持了较高的性能：

• 准确率：95.25%
• 精确率：91.59%
• 召回率：99.74%
• F1分数：95.49%

使用方法

用户可以通过Transformers库或Optimum with ONNX来使用这个模型。此外，该模型还可以与Langchain集成，或在LLM Guard中使用。项目提供了详细的代码示例，方便开发者快速上手。

社区支持

项目鼓励用户加入其Slack社区，与开发者交流、提供反馈并讨论LLM安全相关话题。这为用户提供了一个良好的交流平台，有助于项目的持续改进和发展。

总结

deberta-v3-base-prompt-injection-v2项目为语言模型应用提供了一个强大的安全工具。通过精确检测提示注入攻击，它有效提高了系统的安全性。虽然目前主要针对英语，但其高准确率和广泛的应用前景使其成为NLP安全领域的重要贡献。

</SOURCE_TEXT>