Awesome-Knowledge-Distillation-of-LLMs

项目介绍：Awesome-Knowledge-Distillation-of-LLMs

项目概述

Awesome Knowledge Distillation of LLMs 是一个以大规模语言模型（LLMs）知识蒸馏为主题的论文集合。这项目的核心目标是研究如何利用知识蒸馏技术，从如 GPT-4 这样的专有大模型中提取先进的能力，并将其转移到开放源码模型中，如 LLaMA 和 Mistral。此外，该项目还探讨了如何通过知识蒸馏技术实现开放源代码模型自我压缩和自我提升。

项目背景

大规模语言模型因其处理复杂语言任务的能力而备受关注。然而，部署这些模型往往需要巨大的计算资源。通过知识蒸馏，让较小的模型也能拥有大模型的一部分能力，成为一个理想的解决方案。

知识蒸馏与数据增强

在大模型知识蒸馏过程中，数据增强技术（DA）发挥了重要作用。资料显示，DA有助于生成特定技能的训练数据，使得开放源码模型可以在一定程度上模仿专有模型的语境适应能力、伦理对齐以及深层语义洞察力。

研究结构

该研究基于三个主要的研究支柱：

• 算法：这部分研究如何从教师模型中提取知识以及如何将这些知识注入到学生模型中。
• 技能蒸馏：集中探讨如何增强模型在上下文跟踪、对齐、多模态处理等方面的认知能力。
• 垂直化蒸馏：探讨知识蒸馏在法律、医疗、金融等不同行业领域的实际应用。

主要贡献与趋势

1. 推进小型模型：通过转移专有大模型的高级功能，让开放源码及其他小型模型得到提升。

2. 压缩：采用知识蒸馏技术，提升开放源代码模型的效率与实用性。

3. 自我改进：借助自身知识，以知识蒸馏实现开放源代码模型的性能提升。

项目更新与参与

项目每周都会进行更新，鼓励研究人员和开发者“关注”项目以跟踪最新的变化。此外，若有兴趣以及新的研究方向，欢迎通过邮件或在 GitHub 上提交问题或拉请求（PR），以共同丰富和完善这份知识蒸馏论文集合。

重要免责声明

必须注意的是，在使用大模型输出时，需遵循模型供应商所提供的使用条款，特别是在开发竞品产品时需谨慎，例如使用 ChatGPT 或 LLaMA 的输出内容时。

这个项目致力于通过知识蒸馏技术，使大规模语言模型的强大功能在小型化模型中得以展现。随着项目的持续更新，期望能够为该领域研究和实践提供更多参考和支持。