Llama-2-13B-fp16

Llama-2-13B-fp16项目介绍

项目背景

Llama-2-13B-fp16 是由 Meta 公司开发并公开发布的 Llama 2 模型系列的一部分。这一大家族是大型语言模型（LLM）的集合，专注于生成性文本处理，其参数规模从 7 亿到 700 亿不等。该项目专注于 130 亿参数的模型版本。

模型特性

架构与优化

Llama 2 使用了一种优化的 Transformer 架构进行构建，是一种自回归语言模型。这类模型的调整版本通过监督微调（SFT）和带人类反馈的强化学习（RLHF）来增强人类偏好方面的表现，如帮助性和安全性。

参数规模与模型变体

Llama 2 目前有三个主要的参数规模变体：7B、13B 和 70B。同时，模型具备预训练和微调（Llama-2-Chat）两种变体，其中 Llama-2-Chat 主要用于对话场景，性能优于大多数开放源码的聊天模型。

训练数据与性能

数据来源

Llama 2 是在公开可用的在线数据上进行预训练的，数据量达到 2 万亿个标记。微调数据则包含公共可访问的指令数据集和超过一百万条新的人类注释样例。

模型能力

Llama 2 的微调模型在帮助性和安全性上经过评估，与一些知名的闭源模型如 ChatGPT 和 PaLM 相媲美。13B 版本在多项学术基准测试中表现出色，尤其是在 0-shot 和 5-shot 的情况下进行的常识推理、世界知识、阅读理解和数学能力测试。另外，它在 TruthfulQA 和 Toxigen 等安全基准上的表现也较为突出。