CipherChat

CipherChat 项目介绍

CipherChat 是一个创新的框架，专注于系统性地研究安全对齐的普遍性，尤其是对非自然语言的应用，如密码（cipher）。该项目的核心观点是，由于人类反馈和安全对齐通常以自然语言形式呈现，因此使用人类不可读的密码可能有效绕过这些安全对齐机制。

项目背景

CipherChat 项目的主要目的是测试自然语言模型（LLM）在面对加密信息时的表现。这些模型通常经过训练，可以理解和处理自然语言，而CipherChat通过教会模型解读密码，从而看这些模型是否能够在被加密的情况下保持其功能和安全性。

项目方法

CipherChat采用了一种独特的方式来研究模型的表现：

1. 密码专家 - 首先，聊天模型（LLM）被引导成为“密码专家”。这一步骤通过向模型解释加密和解密规则并进行示范来实现。
2. 输入加密 - 随后，将需要处理的输入信息转换为密码格式，试图规避模型的安全对齐机制。
3. 输出解密 - 最后，使用规则解码器将模型的输出从密码格式转换回自然语言。

使用方法

为了使用CipherChat框架，用户需要使用Python脚本运行如下命令：

python3 main.py \
 --model_name gpt-4-0613 \
--data_path data/data_en_zh.dict \
--encode_method caesar \
--instruction_type Crimes_And_Illegal_Activities \
--demonstration_toxicity toxic \
--language en

上述命令中包括了一些重要的参数：

• --model_name：需要评估的模型名称。
• --data_path：需要运行的数据路径。
• --encode_method：选择使用的加密方式。
• --instruction_type：数据的领域。
• --demonstration_toxicity：示例的安全性或毒性。
• --language：数据的语言。

框架概述

CipherChat框架基于假设：如果模型只能通过解除某种加密来获得信息，那么安全对齐是可以被规避的。项目中使用了类似凯撒密码的方法，将安全信息加密处理，并在输出时通过一个解码器将信息翻译回自然语言。

实验结果

CipherChat项目的实验结果存储在“experimental_results”文件夹中，使用torch.load()方法可以加载数据并查看模型对加密信息的处理表现。

案例及研究

项目中包含了一些典型的案例研究和消融研究，并对不同模型的表现进行了分析。这为研究人员提供了丰富的数据和案例，供后续分析和理解。

研究用途

CipherChat项目明确声明仅供研究使用，强调爱与和平，拒绝任何形式的不当使用。

若对项目有任何疑问，可以联系项目的第一作者袁友亮进行咨询。项目的重要研究论文可以在 ICLR 2024 论文集中查阅。