c4ai-command-r-v01

c4ai-command-r-v01项目介绍

项目概述

c4ai-command-r-v01项目是一个由Cohere和Cohere For AI开发的先进大型语言模型。这个模型拥有350亿个参数，以其高性能的生成能力著称。它被优化用于多种应用场景，如推理、总结和问答等。Command-R支持多语言生成，并在包括简体中文在内的10种语言中进行了评估。此外，该模型还具备强大的检索增强生成（RAG）能力。

模型特点

模型大小: 35亿参数
开发者: Cohere 和 Cohere For AI
许可: 模型使用CC-BY-NC许可，用户需遵循特定的可接受使用政策。
自然语言处理库: 适用于transformers库，版本需为4.39.1或更高。
上下文长度: 128千字节

功能亮点

多语言支持

Command-R能够在多种语言环境下高效地进行文本生成，支持的语言包括英语、法语、德语、西班牙语、意大利语、葡萄牙语、日语、韩语、简体中文和阿拉伯语。这些语言的优化使得模型在多语言任务中表现出色。

基于文档生成与RAG能力

模型专门设计用于基于文档的生成任务，能够利用提供的文档片段生成带有引用的回答。这种能力可应用于文档总结和检索增强生成（RAG）等任务。用户可以输入对话内容和检索到的文档片段，模型会预测相关的文档并在答案中插入引用。使用专用提示模板可以提升生成质量。

单步工具使用能力

Command-R还能执行单步工具使用（即“功能调用”），允许它与外部工具如API、数据库或搜索引擎进行交互。模型会根据对话内容和可用工具生成需要调用的工具及相关参数，再由开发者去执行这些工具调用。

使用方法

用户可选择在线尝试模型，或通过编程接口加载模型来测试其功能。以下是一个简单的代码示例，演示如何使用该模型与transformers库进行对话生成：

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/c4ai-command-r-v01"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

messages = [{"role": "user", "content": "你好，你怎么样？"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
)

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)