c4ai-command-r-08-2024

项目介绍：C4AI Command R 08-2024

项目概述

C4AI Command R 08-2024 是由 Cohere 和 Cohere For AI 开发的一个研究发布版本，拥有 320 亿参数的高度性能生成模型。这个大型语言模型经过优化，适用于多种应用场景，包括推理、摘要和问答等功能。它具备多种语言生成能力，经过 23 种语言的训练，并在 10 种语言进行了评估，具备强大的检索增强生成（RAG）能力。

开发者：Cohere 和 Cohere For AI
联系方式：Cohere For AI: cohere.for.ai
许可证： CC-BY-NC，需遵循 C4AI 的可接受使用政策
模型名称：c4ai-command-r-08-2024
模型规模：320 亿参数
上下文长度：128K

模型使用

如果您想在下载模型权重之前对 Command R 进行实验，该模型托管在 Hugging Face 的空间 here。

使用示例

请使用 transformers 版本 4.39.1 或更高版本

# pip install 'transformers>=4.39.1'
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/c4ai-command-r-08-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# 格式化信息，使用 command-r-08-2024 聊天模板
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
)

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

模型详情

输入：模型仅接受文本输入。

输出：模型仅生成文本输出。

模型架构：这是一个自回归语言模型，使用优化的变压器架构。在预训练后，模型通过监督微调（SFT）和偏好训练，使模型行为和人类偏好更加一致，包括有用性和安全性。我们使用分组查询注意力（GQA）来提高推理速度。

支持的语言：该模型在 23 种语言上进行了训练（包括英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语和简体中文），并在其中的 10 种语言上进行了评估。

上下文长度：Command R 08-2024 支持 128K 的上下文长度。

训练功能和 RAG 能力

Command R 08-2024 特别训练了基于文档片段进行生成的能力。这意味着它能够根据提供的文档生成响应，并在其响应中包括信息来源的标记（引用），这可用于支持基于源信息的摘要和检索增强生成（RAG）的最后一步。通过监督微调和偏好微调，以及特定的提示模板，这种行为被训练到模型中。更改此提示模板可能会影响性能，因此建议使用文档中描述的提示模板。

Command R 08-2024 的生成功能首先预测相关文档，然后预测引用文档，最后生成回答并插入引用标记。这种方法被称为 准确的 生成。

该模型经过训练支持多种回答模式，可以通过提示更改进行选择。快速 引用模式被支持，舍弃了一些标记但减少了生成的标记数。

如果您想了解更多关于 Command R 08-2024 的文档生成提示模板，可以查看 Cohere 的文档。