Safety-Prompts学习资料汇总 - 中文大模型安全性评估与提升工具

Safety-Prompts项目简介

Safety-Prompts是由清华大学智能技术与系统国家重点实验室COAI小组开发的开源项目,旨在评估和提升中文大语言模型的安全性。该项目提供了大规模中文安全prompts数据集,涵盖多种典型安全场景和指令攻击场景,可用于全面评测模型的安全性,也可用于增强模型在安全方面的知识,实现模型输出与人类价值观的对齐。

Safety-Prompts项目截图

核心资源

GitHub仓库: https://github.com/thu-coai/Safety-Prompts

包含项目代码、数据集和详细说明文档。
数据集:
- typical_safety_scenarios.json: 典型安全场景数据
- instruction_attack_scenarios.json: 指令攻击场景数据
可直接从GitHub仓库下载,也可通过HuggingFace Datasets库加载使用。
安全评测平台: http://coai.cs.tsinghua.edu.cn/leaderboard/

可在线查看各中文大模型在14个维度下的安全性得分,也支持上传自己的模型进行评测。
相关论文:
- Safety Assessment of Chinese Large Language Models
- SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions
最新进展 - ShieldLM:
- 论文: ShieldLM: Empowering LLMs as Aligned, Customizable and Explainable Safety Detectors
- 代码仓库: https://github.com/thu-coai/ShieldLM

使用指南

数据集使用:

from datasets import load_dataset
safetyprompts = load_dataset("thu-coai/Safety-Prompts", data_files='typical_safety_scenarios.json', field='Insult',split='train')
print(safetyprompts)

评测平台: 访问http://coai.cs.tsinghua.edu.cn/leaderboard/查看现有模型评测结果或上传自己的模型进行评测。
进阶使用: 参考GitHub仓库中的详细文档,了解更多关于数据格式、评测方法等信息。