spacy-llm

项目介绍：spacy-llm

项目概述

spacy-llm 是一个创新的软件包，它将大型语言模型（LLMs）与知名的自然语言处理库 spaCy 集成在一起。通过这一集成，用户可以快速原型化和提示设计，并将无结构化的响应转化为稳健的输出，适用于多种NLP任务，并且不需要训练数据。这使得它在处理复杂语言任务时得心应手，无论是专业人员还是爱好者都能从中受益。

主要特性

序列化的 llm 组件：可以将提示语集成到 spaCy 的管道中。
模块化功能：定义不同任务（提示和解析）和模型，简化了定制化需求。
API接口：支持与多个大型语言模型平台的API接口，如OpenAI、Cohere、Anthropic、Google PaLM和Microsoft Azure AI，此外还支持 Hugging Face 上的开源LLMs，例如 Falcon、Dolly、Llama 2 等。
LangChain集成：可以在 spacy-llm 中使用所有的 LangChain 模型和功能。
内置任务：提供多种即开即用的任务，包括命名实体识别、文本分类、词形还原、关系抽取、情感分析、片段分类、摘要生成、实体链接、翻译等。
自定义功能：通过 spaCy 的注册功能轻松实现自定义提示、解析和模型集成。

背后的动机

大型语言模型以其强大的自然语言理解能力而广受欢迎。通过少量乃至无需示例，LLM即可被提示执行自定义的NLP任务，如文本分类、命名实体识别等。与之相比，spaCy 本身提供基于监督学习或规则驱动的方法，这在生产环境中提供了更好的效率、可靠性和准确性。spacy-llm 使得用户能够在 LLM 的快速原型化能力与监督学习的高效和控制之间取得平衡，为项目的不同阶段提供灵活的选择。

安装指南

spacy-llm 将在未来的 spaCy 版本中自动安装。目前，可以通过以下方式在已安装 spaCy 的虚拟环境中安装：

python -m pip install spacy-llm

请注意，该软件包目前仍处于实验阶段，其接口可能在小版本更新中发生重大变化。

快速开始

可以使用 OpenAI 提供的 GPT 模型进行文本分类。首先创建一个新的API密钥或获取现有的密钥，并确保将其设置为环境变量。以下是 Python 代码示例：

import spacy

nlp = spacy.blank("en")
llm = nlp.add_pipe("llm_textcat")
llm.add_label("INSULT")
llm.add_label("COMPLIMENT")
doc = nlp("You look gorgeous!")
print(doc.cats)
# {"COMPLIMENT": 1.0, "INSULT": 0.0}