LongLoRA

LongLoRA 项目介绍

LongLoRA 项目是一个致力于优化长上下文大语言模型的项目。其中，LongLoRA 和 LongAlpaca 是为该类模型研发的核心工具与数据集。本项目的主要目的是提高语言模型在处理长文本段落时的效率和效果，特别是指令跟随任务的处理。

项目亮点

• 创新的短时注意力机制：LongLoRA采用了一种创新的短时注意力机制，易于实现并兼容Flash-Attention技术，而且在推理时无需此算法的参与，从而提高效率。
• 丰富的模型和数据集：目前已经发布的模型规模从7B到70B，支持的上下文长度从8K到100K。此外，还推出了一个长上下文指令跟随数据集LongAlpaca-12k。
• 开放源码：项目的所有模型、数据集和训练代码均已开源，首次公开的大规模长上下文模型70B也在其中。

LongAlpaca 数据集

LongAlpaca-12k数据集包含9k个长问答数据和3k个短问答数据，其内容丰富多样。长问答部分使用特定的方法进行微调，以避免模型在短指令跟随任务中的性能下降。此数据集为模型提供了更广泛的训练内容，提高了模型在复杂任务上的表现。

模型概述

LongLoRA项目提供了多种经过监督微调的模型，这些模型经过了完整的微调训练或LoRA技术的改进微调，能够支持不同的上下文长度和不同的模型规模。

如何贡献

用户可以通过创建项目的分叉版本、克隆代码库、进行本地修改后提交Pull Request来贡献自己的力量。在参与项目之前，建议用户仔细阅读项目的各种需求及安装指导部分。

安装与快速上手

项目部署非常简单，只需在本地克隆代码库并执行安装命令，即可快速开始使用。用户可以选择使用我们已经发布的模型或自己进行微调，调整模型以满足自己的需求。

模型训练与评估

项目提供了详细的训练和评估流程，用户可以根据自身的需求选择数据集和模型进行训练。评估方式包括困惑度验证（Perplexity Validation）及钥匙检索任务（Passkey Retrieval）的准确性测试。

演示与流式推理

用户可以通过本地部署和在线演示来测试LongAlpaca模型的性能。项目支持使用StreamingLLM进行流式推理，以提高在多轮对话中的上下文长度支持。

数据生成

在数据集收集过程中，我们使用不同工具将书籍和论文从PDF格式转换为文本，以保证数据质量对模型训练的影响达到最佳。

许可协议

LongLoRA项目的代码、数据和权重遵循不同的许可协议。代码部分遵循Apache License 2.0，而数据和权重则依据CC-BY-NC 4.0协议，仅供研究使用，禁止商业用途。

LongLoRA项目不仅在技术上有显著创新，更通过开放源码和广泛的数据集支持推动了长上下文大语言模型应用领域的优化与发展。用户和研究者可以在Hugging Face及GitHub上访问到项目的相关资源和模型。