LMaaS-Papers

LMaaS-Papers 项目简介

项目概述

LMaaS-Papers 项目是一个精心整理的论文列表，主题围绕“语言模型即服务”（Language-Model-as-a-Service，简称 LMaaS）。这一项目主要由 Sun Tianxiang 维护，旨在鼓励对该领域感兴趣的自然语言处理（NLP）研究者添加或更新相关论文。目前，这个项目包含了 67 篇论文，并不断更新。

项目的背景与缘由

由于商业原因和高昂的调整成本，预训练的大型语言模型（LLM），如 GPT-3，通常以服务的形式发布，而不是开放其模型参数。这种情况下，我们称之为“语言模型即服务”（LMaaS）。在这种模式下，用户可以通过推理 API 访问这些强大的语言模型。这种服务模式已经支持了许多的应用场景。

LMaaS 相较于传统的微调模型方式，具有更高的部署效率。通用的 LLM 可以用于多种任务，无需微调多个单独的模型。然而，如何在不接触模型参数和梯度的情况下，将这些模型适应于具体任务，是一个挑战。为了推动这一领域的研究，LMaaS-Papers 项目收集了许多相关的研究论文。

范围

项目中选取的论文主要着眼于不用接触模型参数和梯度的情况下，将语言模型适应于下游任务。尽管微调后的语言模型在部署后也可以作为服务来使用，但它们只能解决一个任务，服务的用户有限。因此，LMaaS 更偏向于服务更广泛用户的通用模型。

技术线条

1. 文本提示（Text Prompt）：通过设计特定任务的提示文本，用户可以调用冻结的语言模型来解决目标任务。
2. 情境学习（In-Context Learning）：用户可以在推理时提供少量示例，以帮助模型快速适应目标任务。
3. 黑盒优化（Black-Box Optimization）：通过优化少量参数，用户可以在不需要模型参数的情况下解决任务。
4. 基于特征的学习（Feature-based Learning）：语言模型可作为特征提取器，用户可以在其上构建可学习的模块进行分类或生成任务。
5. 数据生成（Data Generation）：通过生成模型生成数据集，以便在本地训练一个更小的模型。

LMaaS 的优势

1. 部署效率高：通过一个通用语言模型同时服务多个任务，不需要为每个任务维护模型的副本。
2. 调优效率高：任务参数少且无需反向传播，大大降低了计算复杂度。
3. 样本效率高：可在少量甚至零标记的数据情况下，取得与传统模型相似的效果。

关键词

在项目中，关键词标识了各论文的特点，如“GPT-3”、“离散提示（Discrete Prompt）”等，有助于快速辨别论文的核心内容与方法。

论文分类

文本提示

包括对语言模型如何通过设计好的文本提示处理任务的研究。这部分涵盖了从利用语言模型作为知识库到通过自动生成提示来提高模型处理能力的各类研究。

情境学习

集中在通过给定情境的少量示例，提升语言模型对任务的理解，其代表作如“语言模型是少样学习者”等。

黑盒优化

重点在于如何在不直接访问模型内部的情况下，对小类参数进行优化，以实现对任务的控制与调整。

基于特征的学习

研究了如何利用语言模型的特征来完成复杂的任务，优化模型在特定任务上的表现。

数据生成

探讨了如何运用语言模型生成必要的数据集来支撑更小规模模型的训练。这类方法能有效地利用现有的大型语言模型的生成能力。

LMaaS-Papers 项目致力于深入探索语言模型作为服务的应用以及其普及化。希望通过提供丰富的学术资源，为研究者们提供更多的灵感和帮助。