llama3.java 学习资源导航 - 在单个Java文件中实现Llama 3推理

llama3.java

llama3.java - 实用的Llama 3推理Java实现

llama3.java是一个在单个Java文件中实现Llama 3和3.1推理的开源项目。它提供了一种简单实用的方式来在Java环境中运行Llama大语言模型。本文将介绍该项目的主要特性和学习资源,帮助读者快速上手这个强大的LLM推理工具。

项目特点

llama3.java具有以下主要特点:

单文件实现,无外部依赖
支持GGUF格式模型解析
实现了Llama 3 tokenizer
支持分组查询注意力(Grouped-Query Attention)推理
支持Llama 3.1 (具有ad-hoc RoPE scaling)
支持Q8_0和Q4_0量化
使用Java Vector API优化矩阵运算
提供简单的CLI接口,支持chat和instruct模式

llama3.java演示

快速上手指南

下载模型文件

推荐下载纯Q4_0量化的模型文件(~4.3GB):

# Llama 3.1
curl -L -O https://huggingface.co/mukel/Meta-Llama-3.1-8B-Instruct-GGUF/resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_0.gguf

# Llama 3
curl -L -O https://huggingface.co/mukel/Meta-Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q4_0.gguf

运行项目

使用jbang运行(推荐):

jbang Llama3.java --help

或直接执行:

chmod +x Llama3.java
./Llama3.java --help

学习资源

性能对比

llama3.java与llama.cpp在不同硬件上的性能对比:

模型	tokens/s	实现
Llama-3-8B-Instruct-Q4_0.gguf	7.53	llama.cpp
Llama-3-8B-Instruct-Q4_0.gguf	6.95	llama3.java
Llama-3-8B-Instruct-Q8_0.gguf	5.16	llama.cpp
Llama-3-8B-Instruct-Q8_0.gguf	4.02	llama3.java