promptsource

项目介绍：PromptSource

PromptSource 是一款专为自然语言提示的创建、分享和使用而设计的工具包。近年来的研究表明，大型语言模型在面对新任务时能够实现较好的零次样本泛化能力。例如，GPT-3 展示了强大的零样本和少样本能力。而经过大规模多任务微调的预训练语言模型，如 FLAN 和 T0，则展现出更强的零样本性能。这些研究的一个共同点是它们都使用提示，这引起了自然语言处理领域研究人员和工程师的关注，从而使创造、分享和使用自然语言提示的新工具需求愈加迫切。

什么是提示？

提示是一种将数据集中的示例映射为自然语言输入和目标输出的函数。PromptSource 包含一个不断增多的提示集合（称为 P3，即 Public Pool of Prompts）。截至2022年1月20日，P3 已为170多个英语数据集提供了约2000个英语提示。

PromptSource 功能概览

PromptSource 提供了用于创建和分享自然语言提示的工具。通过一个简单的API，用户可以使用这些已有的和新创的数千个提示。提示以独立的结构化文件保存，并且使用一种叫做 Jinja 的简单模板语言编写。一个在 PromptSource 中为 SNLI 数据集提供的提示示例如下：

{{premise}}

Question: Does this imply that "{{hypothesis}}"? Yes, no, or maybe? ||| {{answer_choices[label]}}

如何使用 PromptSource

如果用户只打算使用现有的提示，可以通过安装命令轻松开始：

pip install promptsource

PromptSource 允许用户将提示应用于 Hugging Face 数据集库中的数据集示例。用户可以加载数据集，然后通过 PromptSource 提供的模板应用提示来提取所需信息。

如何创建提示

PromptSource 配备了一款基于 Web 的图形用户界面，开发人员可以在其中编写提示模板，并立即查看它们在不同示例上的输出。用户可以通过三种模式进行提示操作：

• Sourcing：创建和编写新提示。
• Prompted dataset viewer：在整个数据集上检查已编写或现有的提示。
• Helicopter view：汇总当前 P3 的高层次指标。

要在本地运行应用程序，请遵循安装步骤，并从代码库根目录下运行如下命令：

streamlit run promptsource/app.py

项目背景与研发结构

PromptSource 和 P3 项目最初是作为 BigScience 公开研究项目的一部分开发的。该项目为期一年，旨在研究大型模型和数据集，目标是在大型科技公司以外的公共环境中进行语言模型研究，吸引了来自50个国家的600名研究人员和超过250个机构参与。

特别地，PromptSource 和 P3 是论文《Multitask Prompted Training Enables Zero-Shot Task Generalization》的初步研究工作。我们还发布了一系列训练在 P3 上的模型 T0，模型检查点也可供使用。

已知问题

在使用 PromptSource 时可能会遇到一些已知问题，例如在 OS X 上关于 Darwin 的警告或错误，以及连接被拒绝的错误。如果出现这些问题，用户可以尝试重启应用程序或为 PyArrow 降级版本。

通过这篇介绍，用户可以更好地理解和使用 PromptSource 工具，去实现创新性和高效的自然语言处理任务。