bagel-8b-v1.0

项目介绍：Bagel-8b-v1.0

项目概述

Bagel-8b-v1.0 是基于 Meta 公司开发的 Llama-3 系列模型的一种特定版本。此模型运用了 Llama-3-8b，并通过 Bagel 数据集进行了微调，以统一的 Llama-3 指令格式呈现，而非此前的四种提示格式。对于 DPO（双重生成对抗）版本，将很快在 此处 提供。

Bagel-8b-v1.0 相比于 Mistral-7b-v0.2 的表现非常有前景。例如，在 MT-Bench 上的测试结果如下：

数据来源

Bagel 模型使用了丰富的多样性数据源，主要包括：

• AI2 ARC：用于推理与智能测量的抽象数据集。
• Airoboros：通过 GPT-4 生成的多种类合成指令。
• Apps：包含 1 万个问题的 Python 编程数据集。
• Belebele：多语言阅读理解数据集。
• BoolQ：是/否问题集。
• 以及其他诸多数据集，涵盖了从科学生命到编程、多语言理解等多领域内容。

这些数据集主要用于支持机器的多任务处理能力、语义理解、上下文推理等功能的训练。

提示格式化

Bagel-8b-v1.0 使用 Llama-3 指令格式作为提示模板，用户可以通过 apply_chat_template 方法准确格式化提示。例如：

import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("jondurbin/bagel-8b-v1.0", trust_remote_code=True)
chat = [
  {"role": "system", "content": "You are Bob, a friendly AI assistant."},
  {"role": "user", "content": "Hello, how are you?"},
  {"role": "assistant", "content": "I'm doing great. How can I help you today?"},
  {"role": "user", "content": "I'd like to show off how chat templating works!"},
]
print(tokenizer.apply_chat_template(chat, tokenize=False))

提示策略

项目中应用了多种提示策略来增强模型的效果：

1. 上下文严格服从问答：这种格式用于处理从特定上下文中提取的响应，例如，在 RAG（检索增强生成）场景中，非常强调模型注重提供的上下文信息。

2. 摘要化：格式与上下文问答类似，但旨在完成摘要任务，使内容更精简。

3. 函数调用：适用于功能调用场景，为请求的输入与函数列表提供最佳的函数选择。

4. 思维链：让模型提议多个可能响应，经过逻辑推理并选择最可能的答案。

通过这些策略，Bagel-8b-v1.0 展现出了在处理复杂指令和多样化任务上的卓越性能，是深入探索自然语言处理应用的一个重要工具。