LLM-Shearing

LLM-Shearing 项目介绍

项目背景

LLM-Shearing 是一个通过结构化剪裁技术加速语言模型（LLM）预训练的创新项目。由孟州、田宇高、曾志远和陈丹琦共同开发，该项目发现剪裁强大的基础模型，相较于从头开始预训练小型模型，是一种非常高效的方式。通过裁剪 LLaMA-2-7B 模型，项目实现了仅以原始预训练成本 3% 的代价获得了与 OpenLLaMA 相媲美的模型。

基础模型

本项目使用了多个基础模型，包括 Sheared-LLaMA-1.3B 和 Sheared-LLaMA-2.7B。对于不继续预训练的裁剪模型，也提供了 Sheared-LLaMA-1.3B-Pruned 和 Sheared-LLaMA-2.7B-Pruned。此外，项目还开发了经过指令调优的模型，如 Sheared-LLaMA-1.3B-ShareGPT 和 Sheared-LLaMA-2.7B-ShareGPT。

实施细节

实现基于 MosaicML 的 Composer 软件包，并在此基础上实现了完整的剪裁逻辑和动态批量加载逻辑。这些功能作为回调函数集成，确保了灵活性与易于配置的特点。

剪裁与继续预训练

剪裁过程基于结构化剪裁的方法，将大型语言模型削减成小规模但具备相同强度的模型。由于剪裁的计算成本高于继续预训练，剪裁在达到一定步骤后停止，后续则继续对已裁剪的模型进行预训练。

安装和准备

项目要求用户提前安装 Pytorch 和 Flash Attention，通过具体步骤安装必要的软件包，并使用 llmshearing 包对其进行本地开发环境的可编辑安装。此外，项目提供了数据准备和模型准备的详细指导。

转换模型

项目支持在模型完成训练后，将模型从 Composer 格式转换为 Hugging Face 格式，以便进一步推理或微调。同时，还提供了对等性检查的功能，以确保转换的准确性。

剪裁配置

项目中详细说明了各类配置参数，包括数据配置、基本训练配置、剪裁配置和动态批量加载配置。用户可以根据需求在 YAML 配置文件中进行定义，进行个性化模型训练。

未来展望

项目未来计划探索更强的基础模型、领域特定语言模型以及不同规模的模型，包括 Mistral-7B 和 CodeLlama 等。同时，项目还关注数据源的多样性，以进一步提升模型性能。

支持和问题反馈

项目团队欢迎用户通过邮件与 GitHub issue 提出问题，报告使用中的错误，并提供详细信息以便更及时有效地得到支持。

引用

如果该项目对您的研究工作有帮助，请引用以下文章：

@article{xia2023sheared,
  title={Sheared llama: Accelerating language model pre-training via structured pruning},
  author={Xia, Mengzhou and Gao, Tianyu and Zeng, Zhiyuan and Chen, Danqi},
  journal={arXiv preprint arXiv:2310.06694},
  year={2023}
}

通过上述介绍，希望能够帮助大家更加了解 LLM-Shearing 项目的背景、实施细节以及未来展望。在探索语言模型的整个过程中，该项目无疑为研究者和开发者提供了一个高效而创新的工具。