llama-3

Llama 3 项目介绍

项目背景

Llama 3 是由 Meta 开发和发布的一系列大型语言模型（LLM），包括 8B 和 70B 参数的版本。这些模型经过预训练和指令微调，主要优化用于对话场景，并在业内常见的基准测试中表现优异。模型开发过程中特别注重其帮助性和安全性，以确保其在使用中的可靠性。

模型概况

• 开发者: Meta
• 版本: Llama 3 提供了两种不同的参数规模：8B（8十亿参数）和 70B（70十亿参数）。
• 输入输出: 模型仅接受文本输入，输出文本和代码。
• 模型架构: Llama 3 是自回归语言模型，使用优化的变换器架构，经过监督微调（SFT）和人类反馈的强化学习（RLHF）来调整帮助性和安全性。
• 训练数据: 使用了新的公开在线数据组合进行训练，8B 模型的知识截止日期为 2023 年 3 月。
• 发布日期: 2024 年 4 月 18 日

使用案例

Llama 3 主要用于商业和研究用途，支持以英语进行自然语言生成任务。其中指令微调版本特别适合用作助手型聊天模型，而经过预训练的模型可适应多种自然语言生成任务。尽管模型主要用于英语，开发者在遵循社区许可和可接受使用政策的前提下，可以对模型进行其他语言的微调。

使用方法

Llama 3 提供了与 transformers 代码库集成的支持，用户可以通过简单的代码示例使用 transformers 管道进行会话推理。以下是基本使用方法的 Python 代码示例：

import transformers

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是一个总是用海盗说话的聊天机器人！"},
    {"role": "user", "content": "你是谁？"},
]

outputs = pipeline(messages, max_new_tokens=256)
print(outputs[0]["generated_text"][-1])

责任与安全

Meta 承诺负责任的 AI 开发，并采取了一系列措施来限制误用和减少风险。随着 Llama 3 的发布，Meta 更新了负责任使用指南，为开发者提供了实现模型和系统级别安全性的步骤和最佳实践。此外，Meta 还提供了一系列工具以大大降低大型语言模型系统的剩余风险。

训练与评估

Llama 3 的训练涉及大量的计算资源和环境影响。Meta 的可持续发展计划抵消了训练过程中产生的所有二氧化碳排放。模型在标准自动化基准上表现出色，尤其是在对话和安全性方面显著优于之前的版本。

总结

Llama 3 代表着Meta 在人工智能领域的最新进展，提供了更安全、更高效的语言生成能力。通过其在对话应用中的优化性能和负责任的开发方法，Llama 3 被设计为满足广泛的商业和研究需求，同时确保使用的可靠性和创新性。