open_llama_3b

OpenLLaMA: 开源复现的LLaMA语言模型

OpenLLaMA是一个由Berkeley AI Research的研究人员开发的开源项目，旨在复现Meta AI的LLaMA大型语言模型。这个项目提供了经过permissive许可的预训练模型权重，可以自由使用和分发。

项目特点

• 提供了7B和3B参数的模型，均在1万亿个token上训练
• 还提供了13B参数模型的预览版，该模型在6000亿个token上训练
• 模型权重以PyTorch和JAX两种格式发布
• 使用Apache 2.0许可证，允许商业使用和修改

模型加载和使用

OpenLLaMA模型可以通过Hugging Face Transformers库轻松加载和使用。值得注意的是,建议避免使用Hugging Face的快速分词器,因为有时可能会导致不正确的分词结果。用户可以直接使用LlamaTokenizer类,或在AutoTokenizer中设置use_fast=False选项。

此外,该项目还提供了使用EasyLM框架加载和使用模型权重的方法。EasyLM是一个基于JAX的训练流程,专门用于大型语言模型的训练和微调。

数据集和训练过程

OpenLLaMA使用Together公司发布的RedPajama数据集进行训练,这个数据集是对LLaMA训练数据集的复现,包含超过1.2万亿个token。训练过程严格遵循了原始LLaMA论文中描述的预处理步骤和训练超参数,包括模型架构、上下文长度、训练步骤、学习率调度和优化器等。

模型训练在云TPU-v4上进行,使用了正常的数据并行和完全分片的数据并行(也称为ZeRO stage 3)相结合的方法,以平衡训练吞吐量和内存使用。对于7B参数模型,每个TPU-v4芯片可以达到超过2200 tokens/秒的吞吐量。

评估结果

OpenLLaMA在多项任务上进行了评估,并与原始LLaMA模型和GPT-J模型进行了比较。结果显示,OpenLLaMA在大多数任务上的表现与原始LLaMA和GPT-J相当,在某些任务上甚至表现更好。

项目意义

OpenLLaMA为研究人员和开发者提供了一个可自由使用的大型语言模型,为自然语言处理领域的进一步研究和应用创造了条件。该项目的开源性质也促进了社区合作和知识共享,推动了大型语言模型技术的民主化。