falcon-rw-1b

Falcon-RW-1B项目介绍

项目概述

Falcon-RW-1B是由阿联酋技术创新研究所(TII)开发的一个因果解码器模型。这个模型拥有10亿参数，是在RefinedWeb数据集上训练而成的。RefinedWeb是一个经过严格过滤和大规模去重的高质量网络数据集，包含3500亿个标记。Falcon-RW-1B的性能可以媲美或超越在精选数据上训练的同类模型。

模型特点

采用Apache 2.0许可证发布，可以自由使用和修改
专门用于研究纯网络数据训练对大型语言模型的影响
仅支持英语，不适用于其他语言
需要PyTorch 2.0及以上版本才能与transformers库一起使用

使用场景

Falcon-RW-1B主要用于研究大型语言模型，特别是研究经过适当过滤和去重的网络数据对模型特性的影响，如公平性、安全性、局限性和能力等。它不建议直接用于生产环境，除非经过充分的风险评估和缓解措施。

模型架构

Falcon-RW-1B的架构改编自GPT-3，但使用了ALiBi和FlashAttention技术。主要参数包括:

24层
模型维度(d_model): 2048
注意力头维度(head_dim): 64
词汇量: 50,304
序列长度: 2048

训练细节

训练数据: 350B个RefinedWeb标记
训练硬件: 32个A100 40GB GPU
训练时间: 约6天
优化器: AdamW
学习率: 2e-4，余弦衰减到2e-5
批量大小: 512

使用方法

用户可以通过Hugging Face的transformers库轻松加载和使用Falcon-RW-1B模型。以下是一个简单的示例代码:

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model = "tiiuae/falcon-rw-1b"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
sequences = pipeline(
   "Girafatron is obsessed with giraffes, the most glorious animal on the face of this Earth. Giraftron believes all other animals are irrelevant when compared to the glorious majesty of the giraffe.\nDaniel: Hello, Girafatron!\nGirafatron:",
    max_length=200,
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")