bagel-8b-v1.0

项目介绍：Bagel-8b-v1.0

项目概述

Bagel-8b-v1.0 是基于 Meta 公司开发的 Llama-3 系列模型的一种特定版本。此模型运用了 Llama-3-8b，并通过 Bagel 数据集进行了微调，以统一的 Llama-3 指令格式呈现，而非此前的四种提示格式。对于 DPO（双重生成对抗）版本，将很快在此处提供。

Bagel-8b-v1.0 相比于 Mistral-7b-v0.2 的表现非常有前景。例如，在 MT-Bench 上的测试结果如下：

模型	第一回合	第二回合	平均值
Bagel-8b-v1.0	7.64375	6.95	7.296875
Bagel-7b-v0.5	7.33125	6.8625	7.096875

数据来源

Bagel 模型使用了丰富的多样性数据源，主要包括：

AI2 ARC：用于推理与智能测量的抽象数据集。
Airoboros：通过 GPT-4 生成的多种类合成指令。
Apps：包含 1 万个问题的 Python 编程数据集。
Belebele：多语言阅读理解数据集。
BoolQ：是/否问题集。
以及其他诸多数据集，涵盖了从科学生命到编程、多语言理解等多领域内容。

这些数据集主要用于支持机器的多任务处理能力、语义理解、上下文推理等功能的训练。

提示格式化

Bagel-8b-v1.0 使用 Llama-3 指令格式作为提示模板，用户可以通过 apply_chat_template 方法准确格式化提示。例如：

import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("jondurbin/bagel-8b-v1.0", trust_remote_code=True)
chat = [
  {"role": "system", "content": "You are Bob, a friendly AI assistant."},
  {"role": "user", "content": "Hello, how are you?"},
  {"role": "assistant", "content": "I'm doing great. How can I help you today?"},
  {"role": "user", "content": "I'd like to show off how chat templating works!"},
]
print(tokenizer.apply_chat_template(chat, tokenize=False))