llama2.go

<p align="center"> <img width="300" height="300" src="https://github.com/nikolaydubina/llama2.go/assets/2933061/6e04ff62-2def-44eb-ba83-25e0d3b92644"> </p>

llama2.go

这是Meta推出的最先进开源大型语言模型LLaMA-2的原生Go推理实现，截至2023年8月19日。 它是从github.com/karpathy/llama2.c@bd18228移植而来，移植日期为2023年8月19日。 可能会添加额外功能。

如何运行？

1. 从llama2.c获取tokenizer.bin
2. 获取权重文件 wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories110M.bin
3. go install github.com/nikolaydubina/llama2.go@latest
4. llama2.go -checkpoint=stories110M.bin -prompt="good morning said sun to trees"

$ llama2.go -checkpoint=stories110M.bin -prompt="good morning said sun to trees"
2023/07/29 09:30:22 配置: llama2.Config{Dim:768, HiddenDim:2048, NumLayers:12, NumHeads:12, NumKVHeads:12, VocabSize:32000, SeqLen:1024}
<s>
good morning said sun to trees: "让我们组织一次行动！"
树木拍打着树枝问道："我们要做什么？"
獾笑着回答："我们要一起建造一个树屋！"
树木们拿来木块开始建造。獾将钉子钉入小木块，而树木们将木块拼接在一起，形成一个坚固的基础。
当他们完成树屋时，獾和树木们坐在里面。獾说："看看我们把它建得多漂亮！"
树木们微笑着点头。它们说："非常漂亮！谢谢你帮我们组织这次行动。"
然后他们在这个漂亮的树屋里幸福地生活在一起！
<s>
从前，有个叫蒂米的男孩。蒂米很饿，想吃饭。他问妈妈："我们晚餐吃什么？"他妈妈说："我们吃鸡肉和米饭。"蒂米说："太好了！我喜欢吃鸡肉和米饭。"
他们正在吃饭时，蒂米的爸爸进来说："嘿，蒂米，你想吃完饭后看部电影吗
2023/07/29 09:30:58 达到的令牌/秒: 28.619646

性能

系统	模型	llama2.c	llama.cpp	llama2.go1	llama2.go2
Apple M1 Max 10CPU 64GB	stories110M	101.84 tok/s		10.47 tok/s	39.28 tok/s
Apple M1 Max 10CPU 64GB	llama2_7b	1.83 tok/s	20.36 tok/s		0.87 tok/s
Apple M1 Max 10CPU 64GB	llama2_13b	(段错误)	11.71 tok/s		0.38 tok/s

优化

• Transformer步骤并行化
• 循环展开
• 矩阵内并行化
• (待完成) SIMD
• (待完成) 量化

所有优化都经过Fuzz测试，与基本算法进行对比，基本算法本身也经过测试。 要禁用优化，请更新llama2/transformer.go的导入包为无优化包并重新构建。

相关工作和参考

• https://github.com/karpathy/llama2.c
• https://github.com/poudels14/llama2_rs (llama2.c Rust 移植版)
• https://github.com/saracen/llama2.go (llama2.c Go 移植版, mmap, cgo)
• https://github.com/tmc/go-llama2 (llama2.c Go 分支)
• https://github.com/haormj/llama2.go (llama2.c Go 移植版, cobra)
• https://github.com/gotzmann/llama.go (llama.cpp Go 移植版)
• https://github.com/go-skynet/go-llama.cpp (cgo 绑定 llama.cpp)
• https://github.com/go-skynet/LocalAI (多模型API的cgo绑定)
• https://github.com/ggerganov/llama.cpp
• RoPE
• "Attention Is All You Need"
• Llama2 移植版在 Mac M1 Max 上的广泛基准测试结果

Footnotes

1. 无线性代数优化 ↩

2. 所有线性代数优化 ↩