llama2.mojo

llama2.mojo 项目介绍

项目概述

llama2.mojo 是一个以简单而高效的方式在 Mojo 语言中实现 Llama 2 模型的项目。该项目源于将 llama2.py 转换为 Mojo 版本的灵感，并通过利用 Mojo 的 SIMD 和向量化能力，大幅提升了推理速度。不仅如此，经过多线程优化后，llama2.mojo 在推理性能上比原版 llama2.c 提高了 30%，在 CPU 上的 "baby-llama" 模型推理中超越了 llama.cpp 20%。

支持的模型

目前，llama2.mojo 支持以下模型的执行：

• stories 260K, 15M, 42M, 110M
• Tinyllama-1.1B-Chat-v0.2

性能基准测试

在苹果 M1 Max 和 Ubuntu 20.04 系统上进行了广泛的性能测试。以下为部分测试结果：

Mac M1 Max (6 线程)

Ubuntu 20.04, Intel Core i7-8700, 6 核 12 线程

前置条件

在使用 llama2.mojo 之前，请确保你的环境中已安装并配置好 Mojo。如果想直接在线体验，也可以尝试使用 Mojo Playground。

开始体验

如果想要运行 llama2.mojo，可以按照以下步骤操作：

1. 克隆项目代码：

   git clone https://github.com/tairov/llama2.mojo.git
   cd llama2.mojo

2. 下载模型文件：

   wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin

3. 使用 Mojo 运行模型：

   mojo llama2.mojo stories15M.bin -s 100 -n 256 -t 0.5 -i "Mojo is a language"

其他使用方式

• Docker 运行：可以通过 Docker 构建容器来运行该项目。

• Gradio 界面：可以在 Docker 文件中启用 Gradio UI，更加友好地与模型交互。

引用与支持

如果在学术研究中使用或讨论 llama2.mojo，请引用该项目以帮助扩大其影响。项目旨在促进对变形金刚架构、Llama 模型及 Mojo 编程语言应用的高效实现的学术研究。

许可证

llama2.mojo 项目采用 MIT 许可证，允许用户进行广泛的使用和修改。