Prodigy OpenAI Recipes:结合零样本和少样本学习提高注释效率

Explosion AI近期发布了Prodigy OpenAI Recipes项目,该项目旨在结合零样本和少样本学习与少量人工标注工作,以最高效的方式获得高质量的标注数据集。具体来说,项目使用OpenAI提供的大型语言模型生成初步预测,然后在本地启动Prodigy实例对这些预测进行审核和调整。这种方法可以快速获得金标准数据集,并训练出适合特定需求和用例的小型监督模型。

Prodigy OpenAI Recipes工作流程

项目设置与安装

要使用Prodigy OpenAI Recipes,首先需要安装Prodigy以及其他几个Python依赖项:

python -m pip install prodigy -f https://XXXX-XXXX-XXXX-XXXX@download.prodi.gy
python -m pip install -r requirements.txt

其中XXXX-XXXX-XXXX-XXXX是您的Prodigy许可证密钥。

然后,从OpenAI网站创建新的API密钥或获取现有密钥。记录秘密密钥和组织密钥,并确保将它们设置为环境变量。例如,可以在根目录下的.env文件中设置:

OPENAI_ORG = "org-..."
OPENAI_KEY = "sk-..."

命名实体识别(NER)

项目提供了用于NER任务的recipes,包括ner.openai.correct和ner.openai.fetch。

ner.openai.correct: 基于零样本或少样本学习的NER标注

此recipe使用大型语言模型获取实体预测,并允许标注者将其标记为正确或手动调整。这允许通过零样本或少样本学习快速收集金标准数据集。使用方法如下:

python -m prodigy ner.openai.correct dataset filepath labels [--options] -F ./recipes/openai_ner.py

主要参数包括:

dataset: 保存标注的Prodigy数据集名称
filepath: 要标注的.jsonl数据文件路径
labels: 模型应预测的NER标签列表
--lang: 输入数据的语言,默认为"en"
--model: 用于初始预测的GPT-3模型,默认为"text-davinci-003"
--prompt_path: .jinja2提示模板的路径
--examples-path: 帮助定义任务的示例文件路径
--max-examples: 包含在OpenAI提示中的最大示例数

例如,如果我们想从烹饪subreddit获取的文本中识别菜肴、食材和烹饪设备,可以使用如下命令:

python -m prodigy ner.openai.correct my_ner_data ./data/reddit_r_cooking_sample.jsonl "dish,ingredient,equipment" -p ./templates/ner_prompt.jinja2 -e ./examples/ner.yaml -n 2 -F ./recipes/openai_ner.py

这将向GPT-3发送文本,并提供注释提示来解释我们想要的预测类型。recipe会将OpenAI API的结果转换为可以用Prodigy渲染的标注任务。

NER标注界面示例

标注者可以通过选择右上角的小"旗帜"图标来标记示例,以便交互式地调整提示示例。标记的示例将自动添加到发送给OpenAI API的提示中。

ner.openai.fetch: 预先获取示例

除了ner.openai.correct在标注过程中从OpenAI获取示例外,ner.openai.fetchrecipe可以预先获取大批量示例:

python -m prodigy ner.openai.fetch input_data.jsonl predictions.jsonl "dish,ingredient,equipment" -F ./recipes/ner.py

这将创建一个predictions.jsonl文件,可以使用ner.manual recipe加载。

文本分类(Textcat)

项目还提供了用于文本分类任务的recipes,包括textcat.openai.correct和textcat.openai.fetch。

textcat.openai.correct: 基于零样本或少样本学习的文本分类标注

此recipe利用大型语言模型加快文本分类速度,并提供选择特定标签的"原因"解释。使用方法如下:

python -m prodigy textcat.openai.correct dataset filepath labels [--options] -F ./recipes/openai_textcat.py

主要参数与NER recipe类似。textcat recipes可用于二元、多类和多标签文本分类。

例如,对于二元分类任务,如果我们想知道特定的Reddit评论是否讨论食谱,可以使用如下命令:

python -m prodigy textcat.openai.correct my_binary_textcat_data data/reddit_r_cooking_sample.jsonl --labels recipe -F recipes/openai_textcat.py

二元文本分类界面示例

对于多标签和多类分类,可以传递多个标签并设置--exclusive-classes标志:

python -m prodigy textcat.openai.correct my_multi_textcat_data data/reddit_r_cooking_sample.jsonl 
    --labels recipe,feedback,question 
    --exclusive-classes 
    -F recipes/openai_textcat.py

多类文本分类界面示例

textcat.openai.fetch: 预先获取文本分类示例

textcat.openai.fetch recipe允许预先获取大批量示例,特别适用于处理严重类别不平衡的数据集:

python -m prodigy textcat.openai.fetch input_data.jsonl predictions.jsonl --labels Recipe -F ./recipes/openai_textcat.py

短语和术语获取

terms.openai.fetch recipe可以从大型语言模型生成短语和术语,这些术语可以被策划并转换为模式文件,有助于下游标注任务:

python -m prodigy terms.openai.fetch query filepath [--options] -F ./recipes/openai_terms.py

例如,如果想获取滑板技巧的术语列表:

python -m prodigy terms.openai.fetch "skateboard tricks" tricks.jsonl --n 100 --prompt-path templates/terms_prompt.jinja2 -F recipes/openai_terms.py

提示A/B评估

ab.openai.prompts recipe的目标是快速允许用户以可量化和盲目的方式比较两个提示的输出质量:

python -m prodigy ab.openai.prompts dataset inputs_path display_template_path prompt1_template_path prompt2_template_path [--options] -F ./recipes/openai_ab.py

这个recipe可以用来比较不同提示的效果,帮助优化提示工程。

总结

Prodigy OpenAI Recipes项目通过结合OpenAI的大型语言模型和Prodigy注释工具,为NLP任务的数据标注提供了一种高效的方法。它利用零样本和少样本学习生成初步预测,然后通过人工审核快速获得高质量的标注数据集。这种方法不仅可以显著提高标注效率,还能帮助研究人员和开发者更好地理解和优化提示工程。

未来,还有许多有趣的后续实验可以进行,比如尝试不同的提示,研究注释请求格式对模型预测的影响,或者寻找更简短但同样有效的提示。此外,进行端到端的实验也是一个重要的研究方向。随着项目的发展,它有望为NLP领域的数据标注和模型训练带来更多创新和效率提升。