llmlingua-2-xlm-roberta-large-meetingbank

LLMLingua-2-Bert-base-Multilingual-Cased-MeetingBank项目介绍

项目概述

LLMLingua-2-Bert-base-Multilingual-Cased-MeetingBank是一个基于XLM-RoBERTa大型模型微调的token分类模型，旨在实现高效且忠实的任务无关提示压缩。该项目源自Pan等人在2024年发表的论文《LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression》，是LLMLingua系列的最新成果。

核心功能

该模型的主要功能是对输入文本进行token级别的分类，以实现提示压缩。它使用每个token的保留概率（p_preserve）作为压缩的衡量标准。这种方法能够在保持原文本关键信息的同时，显著减少文本长度，从而提高大语言模型处理长文本的效率。

训练数据

模型的训练数据来源于一个专门构建的抽取式文本压缩数据集。这个数据集采用了LLMLingua-2论文中提出的方法论，以MeetingBank数据集作为种子数据。MeetingBank是由Hu等人在2023年发布的一个会议数据集，为模型提供了丰富的对话和讨论样本。

使用方法

项目提供了简单易用的Python接口。用户可以通过PromptCompressor类来实现文本压缩。使用时，只需指定模型名称，设置压缩率等参数，就可以对输入的提示文本进行压缩。压缩结果包括压缩后的文本、原始tokens、压缩后的tokens以及压缩率等信息。

特色功能

1. 任务无关性：该模型可以应用于各种类型的文本压缩任务，不限于特定领域。
2. 多语言支持：基于XLM-RoBERTa模型，具有强大的多语言处理能力。
3. 可定制性：用户可以通过设置参数来控制压缩程度、保留特定标记等。
4. 详细输出：除了压缩后的文本，还提供了详细的token级别标注结果，方便进行分析和调优。

应用场景

该项目在以下场景中特别有用：

• 长文本处理：帮助大语言模型更高效地处理超长文本输入。
• 会议记录总结：可以快速压缩和提取会议记录中的关键信息。
• 多语言文档处理：适用于需要处理多种语言文本的国际化应用。
• 对话系统优化：通过压缩用户输入，提高对话系统的响应速度和效率。

开源贡献

LLMLingua-2-Bert-base-Multilingual-Cased-MeetingBank项目采用MIT许可证，欢迎研究者和开发者使用和贡献。项目团队也鼓励使用者在相关研究中引用其论文，以支持进一步的学术交流和技术发展。