falcon-mamba-7b

项目介绍：Falcon-Mamba-7B

简介

Falcon-Mamba-7B 是一款由阿布扎比技术创新研究院（TII）开发的强大文本生成模型。这一模型采用因果解码架构，并且主要应用于生成英语文本。模型的架构命名为“Mamba”，其设计通过学习和预测下一个文本token的方式实现文本生成。Falcon-Mamba-7B 的开发和分发受 TII Falcon-Mamba License 2.0 许可证约束。

使用方法

用户可以在不同环境下（如 CPU 和 GPU）使用 Falcon-Mamba-7B 模型。模型已集成至 Transformers 库中，并可通过安装相关包进行调用。

使用示例代码：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
model = AutoModelForCausalLM.from_pretrained("tiiuae/falcon-mamba-7b")

input_text = "Question: How many hours in one day? Answer: "
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

训练细节

Falcon-Mamba-7B 模型的训练使用了大约 5,500 GT 的数据，其主要来源于 Refined-Web，这是一个经过筛选和去重的纯网络数据集。通过多阶段训练策略，该模型将上下文长度从 2,048 提升至 8,192。此外，受课程学习理念启发，其训练过程注重数据的多样性与复杂性。

模型的训练在 256 个 80GB 的 H100 GPU 上进行，使用 3D 并行策略结合 ZeRO 优化技术。训练中采用的超参数包括：

• 精度：bfloat16
• 优化器：AdamW
• 最大学习率：6.4e-4
• 权重衰减：1e-1
• 批量大小：2048

模型评估

在模型性能评估方面，Falcon-Mamba-7B 在多个基准数据集上进行了测试，包括 IFEval、BBH、MATH Lvl 5、GPQA、MuSR 和 MMLU-PRO。评估结果显示该模型在各种文本生成任务中具有一定竞争力，尤其在 IFEval 数据集测试中，其严格准确率达到了 33.36。

技术规格

模型架构与目标

Falcon-Mamba-7B 是一款仅用因果语言模型任务（预测下一个文本 token）训练的因果解码器。其设计基于 Mamba 架构，主要参数为：

• 层数：64
• 隐层维度：4096
• 状态维度：16
• 词汇表大小：65024
• 序列长度：8192（在最后训练阶段）

计算基础设施

模型训练在 AWS SageMaker 平台进行，平均使用 256 个 H100 80GB GPU。同时，它借助内部的分布式训练代码库 Gigatron，并结合 3D 并行和 ZeRO 来提高训练效率。

总结

Falcon-Mamba-7B 是一款创新的语言模型，凭借其在没有注意力机制的情况下仍保持良好性能的能力，成为语言模型领域中的重要一员。模型的开发基于先进的技术架构，并经过精心设计以提供高质量的文本生成服务。