OLMoE-1B-7B-0924

OLMoE-1B-7B-0924 项目介绍

OLMoE-1B-7B-0924 是一种称为专家混合（Mixture-of-Experts, MoE）的语言模型，于2024年9月发布。这个模型采用了先进的专家混合技术，拥有10亿个活跃参数，总参数量达到了70亿，在相同成本的模型中表现出色，并且可以与更大规模的模型如 Llama2-13B 相媲美。该模型完全开源，供学术和工业界的研究人员使用。

模型概述

OLMoE-1B-7B 由于其创新的结构，被认为是同类成本模型中的佼佼者。通过 intelligent 参数路由和组合，大大提高了模型的效率和性能。这些特性使其能够在许多语言任务中提供出色的结果。有关该模型的详细信息及更多资源，可以访问 GitHub 仓库。

预训练与微调

模型的训练采用了复杂的数据集：“allenai/OLMoE-mix-0924”。在训练过程中，研究团队提供了多个检查点用于不同阶段的模型性能优化。这些检查点通过 Hugging Face 平台提供访问。此外，监控和日志记录信息通过 WandB 进行了记录。

为了提高模型在特定任务上的表现，进行了监督微调(SFT)。微调部分参考了"allenai/tulu-v3.1-mix-preview-4096-OLMoE"数据集。研究人员还提供了预训练阶段和微调阶段的具体代码、数据和日志。

不仅如此，OLMoE-1B-7B-0924 还涉及了“直接偏好优化（DPO）/卡尼曼-特维斯基优化（KTO）”，这旨在通过用户偏好优化算法提升模型对于特定任务的适应性。

使用指南

用户可以通过安装相应的 transformers 和 torch 库轻松载入模型进行使用。下面的代码示例展示了如何加载模型和生成文本输出：

from transformers import OlmoeForCausalLM, AutoTokenizer
import torch

DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
model = OlmoeForCausalLM.from_pretrained("allenai/OLMoE-1B-7B-0924").to(DEVICE)
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMoE-1B-7B-0924")
inputs = tokenizer("Bitcoin is", return_tensors="pt")
inputs = {k: v.to(DEVICE) for k, v in inputs.items()}
out = model.generate(**inputs, max_length=64)
print(tokenizer.decode(out[0]))