Llama-2-13b-chat-hf

以下是根据提供的信息所写的Llama-2-13b-chat-hf项目介绍文章:

Llama-2-13b-chat-hf:Meta的开放大语言模型

Llama-2-13b-chat-hf是Meta公司开发的一个大型语言模型,是Llama 2系列模型中的一员。这个模型具有130亿参数,经过了对话场景的微调优化,并被转换为Hugging Face Transformers格式,方便开发者使用。

模型概述

Llama 2是Meta公司开发并公开发布的一系列大型语言模型,包括从70亿到700亿参数不等的预训练和微调模型。其中针对对话场景优化的微调版本被称为Llama-2-Chat。这些模型在大多数基准测试中都优于开源的聊天模型,并且在人工评估的有用性和安全性方面与一些流行的闭源模型(如ChatGPT和PaLM)相当。

模型细节

Llama-2-13b-chat-hf是Llama 2系列中的130亿参数模型,它采用了优化的Transformer架构。该模型经过了监督微调(SFT)和基于人类反馈的强化学习(RLHF),以提高其在有用性和安全性方面与人类偏好的一致性。

这个模型是在2023年1月至7月期间训练的。它使用了约2万亿个token的公开在线数据进行预训练,训练时使用了4M token的全局批量大小。此外,微调数据包括公开可用的指令数据集以及超过100万个新的人工标注样本。

使用场景

Llama-2-13b-chat-hf主要用于英语的商业和研究用途。作为一个经过微调的聊天模型,它特别适合于助手式的对话应用。为了获得预期的功能和性能,使用时需要遵循特定的格式,包括使用"INST"和"<<SYS>>"标签,"BOS"和"EOS"标记,以及适当的空格和换行。

模型评估

在标准学术基准测试中,Llama 2 13B模型展现了出色的性能:

• 代码生成: 24.5分
• 常识推理: 66.9分
• 世界知识: 55.4分
• 阅读理解: 65.8分
• 数学: 28.7分
• MMLU(大规模多任务语言理解): 54.8分
• BBH(大型语言模型行为基准): 39.4分
• AGI评估: 39.1分

这些分数表明,Llama-2-13b-chat-hf在多个领域都具有较强的能力,尤其在常识推理和阅读理解方面表现突出。

许可和使用

使用Llama-2-13b-chat-hf模型需要遵守Meta的许可协议。开发者需要访问官方网站并接受许可条款才能下载模型权重和分词器。该模型禁止用于违反适用法律或法规的任何方式,也不应用于英语以外的语言。

总的来说,Llama-2-13b-chat-hf作为一个强大的开源大语言模型,为研究人员和开发者提供了探索和创新的机会,有望推动自然语言处理技术的进一步发展。