llama3.java

项目介绍：llama3.java

llama3.java 是一个在单个 Java 文件中实现的高效 Llama 3、3.1 和 3.2 推理工具。这个项目是 llama2.java 的继任者，基础来源于 Andrej Karpathy 的 llama2.c，与此同时也继承了其在教育上的价值。除了用于教学以外，llama3.java 还用于测试和优化 JVM 上的编译器功能，特别针对 Graal 编译器。

项目功能

• 无依赖单文件：整个项目以单个 Java 文件形式呈现，简单易使用。
• 格式解析：支持 GGUF 格式解析。
• Llama 3 分词器：基于 minbpe 的分词器。
• 推理功能：支持 Llama 3 的分组查询注意力算法。
• 版本支持：支持 Llama 3.1 的 RoPE 缩放和 3.2 的绑定词嵌入。
• 量化支持：提供 Q8_0 和 Q4_0 量化支持。
• 矩阵乘法优化：基于 Java Vector API，快速执行量化张量的矩阵-向量乘法。
• 命令行工具：简单的命令行接口，包括 --chat 和 --instruct 模式。
• 原生支持：支持 GraalVM 的原生镜像构建。
• AOT 模型预加载：实现即时的首次响应时间，并支持快速推断。

交互式聊天模式演示

此项目提供了交互式的 --chat 模式，用户可以以简单易用的方式进行对话，详细演示可以通过项目页面中的图像查看。

在现代 Java 上实现的实用大型语言模型推理

该项目在 2024 年比利时 Devoxx 大会上进行展示，详细演讲可以在 YouTube 上观看。

环境设置和使用

用户需要下载适用的 GGUF 格式模型文件，可以选择纯 Q4_0 量化模型文件，也可以选择更精确的 Q8_0 量化版本。推荐下载较小型号的纯 Q4_0 量化模型，以减少对服务器资源的需求。

建立与运行

需要 Java 21 以上版本，特别需要使用 MemorySegment 的 mmap-ing 功能。使用 jbang 运行非常合适：

jbang Llama3.java --help

用户也可以直接执行 Llama3.java 文件：

chmod +x Llama3.java
./Llama3.java --help

源码运行

通过 Java 命令可以启用预览功能并运行：

java --enable-preview --source 21 --add-modules jdk.incubator.vector LLama3.java -i --model Meta-Llama-3-8B-Instruct-Q4_0.gguf

未来模型支持

GraalVM 进一步支持 Vector API 操作以提升性能，需要相应版本并进行编译：

make native

性能

项目在 AMD Ryzen 3950X 16C/32T 64GB 的硬件环境下进行性能测试，结果显示在项目页面上供用户参考。

许可

llama3.java 项目采用 MIT 许可证开放源代码，详情请参考项目主页的许可文件。