LLM-Pruner

项目介绍：LLM-Pruner

什么是LLM-Pruner？

LLM-Pruner 是一个面向大语言模型（LLM）的结构化剪枝项目。它旨在简化和优化大型语言模型，使其更高效地运行，同时保持其在各种任务中的表现。这个名字中的“Pruner”意指“剪枝”，顾名思义，就是通过削减冗余的模型参数来提高清晰度和效率。

为什么需要LLM-Pruner？

LLM-Pruner应运而生的原因主要包括以下几点：

• 任务无关性压缩：LLM-Pruner在压缩模型的过程中，确保模型在多个任务上的解答能力保持不变。
• 更少的训练语料：与其他方法不同，该项目仅需求50,000个公开样本（例如alpaca数据集）来进行模型的后训练。
• 高效的压缩能力：整个压缩过程包括3分钟的剪枝和3小时的后训练，可以按照需求延长这两个时间。
• 自动化结构剪枝：能够以最小化的人力投入对新大型语言模型自动进行结构化剪枝（尚在开发中）。

支持的语言模型

LLM-Pruner 支持多种知名的语言模型，包括但不限于：

• Llama-3.1
• Llama-3
• Llama-2
• LLaMA
• BLOOM
• Vicuna
• Baichuan
• TinyLlama

项目更新

项目团队不断优化LLM-Pruner，并已经取得了一些成果：

• 2024年7月27日：新增对GQA的支持，现在LLM-Pruner可以用于Llama3和Llama3.1。
• 2023年8月30日：支持BLOOM。
• 2023年8月14日：新的代码和结果发布，改进后的LLaMA-5.4B模型在准确率上接近原始的LLaMA-7B。
• 2023年7月19日：支持Llama-2-7b和Llama-2-13b。
• 2023年7月18日：新增对Baichuan模型的支持，Baichuan是一个双语大型语言模型。

如何使用LLM-Pruner？

LLM-Pruner的使用可以总结为以下几个步骤：

1. 安装：通过命令 pip install -r requirement.txt 安装所需的依赖包。

2. 剪枝：

   • 发现阶段：发现模型中的复杂互依关系并找出可移除的最小单位（即“组”）。
   • 估计阶段：评估各“组”对模型整体性能的贡献，并确定需要剪枝的部分。
   • 恢复阶段：通过快速的后训练来恢复模型性能。

3. 后训练：利用有限的数据集如Alpaca或更大规模的数据集进行模型微调。

4. 生成：使用Gradio接口来生成使用训练和剪枝后的模型。

5. 评估：评估剪枝后模型的性能，通过lm-evaluation-harness进行。

限制

尽管LLM-Pruner在压缩语言模型方面取得了进展，但仍有需要注意的几点限制：

• 训练数据的限制：更多数据能进一步提高模型质量。
• 剪枝后的模型质量问题：生成的内容还可能有重复或逻辑不够的情况。
• 自动化的不足：某些模型仍然需要手动映射索引，完全自动化剪枝尚需改进。

总结

LLM-Pruner 是一款优秀的工具，提供了对大语言模型进行高效剪枝的能力，并不断通过更新新功能以支持更多的模型和优化其使用体验。通过削减不必要的参数，LLM-Pruner 能够在不影响模型表现的前提下，大大提升模型的执行效率。对于希望优化生成模型的研究者和开发者来说，这无疑是一个强大的利器。