MobiLlama入门学习资料 - 面向边缘设备的小型语言模型

MobiLlama简介

MobiLlama是由阿联酋穆罕默德·本·扎耶德人工智能大学(MBZUAI)开发的一个小型语言模型(SLM),主要面向资源受限的边缘计算设备。与大型语言模型(LLM)不同,MobiLlama采用"小而美"的设计理念,在保持良好性能的同时,大幅降低了计算资源需求,非常适合在移动设备、可穿戴设备等边缘设备上运行。

MobiLlama的主要特点包括:

• 开源透明:完全开源的0.5B参数模型
• 高效轻量:针对边缘设备优化,资源需求低
• 性能出色:在多项基准测试中超越同等规模模型
• 灵活易用:支持多种规模版本,可根据需求选择

模型下载

MobiLlama提供了多个版本的预训练模型供下载使用:

快速使用

以下是使用MobiLlama进行文本生成的示例代码:

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("MBZUAI/MobiLlama-05B", trust_remote_code=True)

model.to('cuda')
text = "I was walking towards the river when "
input_ids = tokenizer(text, return_tensors="pt").to('cuda').input_ids
outputs = model.generate(input_ids, max_length=1000, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())

模型训练

MobiLlama的训练数据来自Amber数据集,包含约1.2万亿个token。完整的训练数据共360个chunk,总大小约8TB。

数据集组成:

如需重现训练过程,可参考训练代码和数据准备说明。

性能评测

MobiLlama在多项基准测试中展现出优异的性能,特别是在0.5B和0.8B参数规模下,超越了许多同等规模的模型。

详细的评测结果可以在GitHub仓库中查看。

移动端部署

MobiLlama已支持在Android设备上运行。如需体验,可以下载并安装APK。

相关资源

• GitHub仓库
• arXiv论文
• HuggingFace模型页面
• 在线Demo

MobiLlama作为一个开源的小型语言模型,为边缘计算和资源受限场景下的AI应用开辟了新的可能。我们期待看到更多基于MobiLlama的创新应用出现。如果您对MobiLlama有任何问题或建议,欢迎在GitHub仓库中提出issue或贡献代码。