基于ONNX运行的Llama 2

这是Meta根据Llama社区许可协议提供的Llama 2模型的优化版本。在遵守Llama社区许可协议的条件和免责声明的前提下，微软允许您使用、修改、重新分发和创建该优化版本的衍生作品。

开始之前

本仓库中包含ONNX文件的子模块是受访问控制的。 要获得Llama 2模型的访问权限，请填写Llama 2 ONNX注册页面。如果允许,您将在接下来的48小时内获得GitHub访问权限,通常会更快。

克隆本仓库及其子模块

在开始之前,请确保您已安装Git LFS。Git LFS(大文件存储)用于高效地处理大文件。您可以在https://git-lfs.com/上找到如何为您的操作系统安装Git LFS的说明。

接下来,您可以选择要使用的Llama 2模型版本,并选择相应的子模块。

可选择以下子模块:

• 7B_FT_float16
• 7B_FT_float32
• 7B_float16
• 7B_float32
• 13B_FT_float16
• 13B_FT_float32
• 13B_float16
• 13B_float32

git clone https://github.com/microsoft/Llama-2-Onnx.git
cd Llama-2-Onnx
git submodule init <chosen_submodule> 
git submodule update

您可以使用不同的子模块名称重复初始化命令,以初始化多个子模块。请小心,包含的文件非常大!(7B Float16模型约为10GB)

什么是Llama 2?

Llama 2是一系列预训练和微调的生成式文本模型。要了解更多关于Llama 2的信息,请查看Llama 2模型卡片。

Llama 2的结构是什么?

Llama 2模型由一堆解码器层组成。每个解码器层(或transformer块)由一个自注意力层和一个前馈多层感知器构成。与经典transformer不同,Llama模型在前馈层中使用不同的投影大小,例如Llama 1和Llama 2的投影都使用2.7倍的隐藏层大小,而不是标准的4倍隐藏层大小。Llama 2相比Llama 1的一个关键区别是注意力层的架构变化,Llama 2采用了分组查询注意力(GQA)机制来提高效率。

常见问题解答

是否有简单的代码示例来运行基于ONNX的Llama 2?

本仓库提供了两个示例。Llama-2-Onnx/MinimumExample中提供了一个最小工作示例。这只是一个命令行程序,将使用所选版本的Llama 2完成一些文本。

给定以下输入:

<!-- Section of bash code -->

python MinimumExample/Example_ONNX_LlamaV2.py --onnx_file 7B_FT_float16/ONNX/LlamaV2_7B_FT_float16.onnx --embedding_file 7B_FT_float16/embeddings.pth --tokenizer_path tokenizer.model --prompt "What is the lightest element?"

输出:

The lightest element is hydrogen. Hydrogen is the lightest element on the periodic table, with an atomic mass of 1.00794 u (unified atomic mass units).

是否有更完整的代码示例来运行基于ONNX的Llama 2?

Llama-2-Onnx/ChatApp中提供了一个更完整的聊天机器人界面。这是一个基于流行的Gradio Web界面的Python程序。它将允许您在聊天机器人界面中与所选版本的Llama 2进行交互。

一个示例交互如下所示:

如何使用微调模型?

微调模型是为对话应用程序而训练的。

要获得预期的功能和性能,需要遵循特定的格式,包括INST标签、BOS和EOS令牌,以及之间的空格和换行符(我们建议在输入上调用strip()以避免双空格)。

这使模型能够以聊天模式工作,并提供额外的保护措施以减少可能出现的不良输出。

为什么第一次推理会很慢?

ONNX运行时执行提供程序可能需要为底层硬件生成JIT二进制文件,通常情况下,该二进制文件会被缓存,并在后续运行时直接加载,以减少开销。

为什么在我的设备上,FP16 ONNX比ONNX FP32慢?

可能您的设备不支持原生FP16数学运算,因此权重将在运行时转换为FP32。使用FP32版本的模型将避免转换开销。

如何获得更好的推理速度?

建议将输入/输出放置在目标设备上,以避免昂贵的数据拷贝,详细信息请参考以下文档。

I/O Binding | onnxruntime

我应该测试哪些参数?

用户可以使用模型的输出对数对温度采样和top-p采样进行参数调整。请参考Meta提供的指南了解最佳参数组合;示例位于此处。

如何负责任地使用Llama 2?

为了帮助开发人员负责任地创新,Meta鼓励您查阅Llama 2模型的负责任使用指南。

微软鼓励您了解其负责任AI方法,包括许多面向开发人员的公开资源和工具。