Daredevil-8B-abliterated

Daredevil-8B-abliterated项目介绍

Daredevil-8B-abliterated是一款基于mlabonne团队开发的Daredevil-8B模型进行改造而来的模型。其改造基于failspy团队提供的notebook，采用了一种在博客文章"Refusal in LLMs is mediated by a single direction"中描述的技术。该项目汇聚了多位贡献者的智慧与经验，包括Andy Arditi, Oscar Balcells Obeso, Aaquib111, Wes Gurnee, Neel Nanda以及failspy。

应用

Daredevil-8B-abliterated模型是一款不设限的模型，用户可以在不需要对齐的任何应用中使用，如角色扮演游戏等。模型经过“Llama 3”预设在LM Studio测试验证，确保了其在开放应用中的灵活性与实用性。

量化

该模型提供了量化版本，用户可以通过以下链接获取：
GGUF: 访问链接

性能表现

Open LLM Leaderboard排名

在Open LLM Leaderboard中，Daredevil-8B-abliterated以优秀的成绩获取了第二的名次，在MMLU评分中表现突出（截至5月27日）。

Nous评估

使用LLM AutoEval工具进行的Nous评估显示，Daredevil-8B-abliterated在多项评估指标上均表现优异，包括AGIEval、GPT4All、TruthfulQA和Bigbench。以下是详细的评估数据：

模型家族树

模型家族树图解展示了Daredevil-8B-abliterated在整个模型系列中的关系及定位。

使用方法

使用Daredevil-8B-abliterated模型非常简便，用户可以利用Python进行模型的安装和调用。以下是简单的使用示例：

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "mlabonne/Daredevil-8B-abliterated"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

这个Daredevil-8B-abliterated项目借助其开放性和多样化的应用场景，成为了技术爱好者和研究人员值得探索的模型之一。