llama2.go

这是Meta推出的最先进开源大型语言模型LLaMA-2的原生Go推理实现，截至2023年8月19日。它是从github.com/karpathy/llama2.c@bd18228移植而来，移植日期为2023年8月19日。可能会添加额外功能。

如何运行？

从llama2.c获取tokenizer.bin
获取权重文件 wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories110M.bin
go install github.com/nikolaydubina/llama2.go@latest
llama2.go -checkpoint=stories110M.bin -prompt="good morning said sun to trees"

$ llama2.go -checkpoint=stories110M.bin -prompt="good morning said sun to trees"
2023/07/29 09:30:22 配置: llama2.Config{Dim:768, HiddenDim:2048, NumLayers:12, NumHeads:12, NumKVHeads:12, VocabSize:32000, SeqLen:1024}
<s>
good morning said sun to trees: "让我们组织一次行动！"
树木拍打着树枝问道："我们要做什么？"
獾笑着回答："我们要一起建造一个树屋！"
树木们拿来木块开始建造。獾将钉子钉入小木块，而树木们将木块拼接在一起，形成一个坚固的基础。
当他们完成树屋时，獾和树木们坐在里面。獾说："看看我们把它建得多漂亮！"
树木们微笑着点头。它们说："非常漂亮！谢谢你帮我们组织这次行动。"
然后他们在这个漂亮的树屋里幸福地生活在一起！
<s>
从前，有个叫蒂米的男孩。蒂米很饿，想吃饭。他问妈妈："我们晚餐吃什么？"他妈妈说："我们吃鸡肉和米饭。"蒂米说："太好了！我喜欢吃鸡肉和米饭。"
他们正在吃饭时，蒂米的爸爸进来说："嘿，蒂米，你想吃完饭后看部电影吗
2023/07/29 09:30:58 达到的令牌/秒: 28.619646

性能

系统	模型	llama2.c	llama.cpp	llama2.go¹	llama2.go²
Apple M1 Max 10CPU 64GB	stories110M	101.84 tok/s		10.47 tok/s	39.28 tok/s
Apple M1 Max 10CPU 64GB	llama2_7b	1.83 tok/s	20.36 tok/s		0.87 tok/s
Apple M1 Max 10CPU 64GB	llama2_13b	(段错误)	11.71 tok/s		0.38 tok/s