spacy-stanza

项目介绍：spaCy + Stanza

spacy-stanza 是一个将 Stanza（前身为 StanfordNLP）库与 spaCy 平台结合使用的软件包。这款工具的主要目的在于帮助用户在 spaCy 的管道中使用斯坦福大学开发的高精度语言模型。Stanza 模型在 CoNLL 2017 和 2018 的分享任务中取得了顶尖的准确率，这些任务包括 68 种语言的分词、词性标注、形态分析、词干提取和标记依存解析。在 1.0 版本之后，Stanza 还支持对部分语言进行命名实体识别。

功能与特点

使用 spacy-stanza 包，用户可以利用预训练的 Stanza 模型来进行以下多种语言处理任务：

• 统计分词：基于统计的分词方式，会在 Doc 对象及其 token 中体现。
• 词形还原：通过 token.lemma 和 token.lemma_ 获取词的原型。
• 词性标注：通过 token.tag 和 token.pos 等属性获取词的词性信息。
• 形态分析：通过 token.morph 获取词的形态特征。
• 依存解析：通过 token.dep 和 token.head 等属性进行句法结构分析。
• 命名实体识别：通过 doc.ents 及相关 token 属性识别文本中的实体。
• 句子分割：通过 doc.sents 将文本分为独立的句子。

安装说明

从 1.0.0 版本开始，spacy-stanza 仅兼容 spaCy v3.x 版本。用户可以通过如下命令进行安装：

pip install spacy-stanza

对于使用 spaCy v2 的用户，需要安装 spacy-stanza 的 0.2.x 版本：

pip install "spacy-stanza<0.3.0"

还需确保下载预训练的 Stanza 模型。

使用示例

用户可以通过调用 spacy_stanza.load_pipeline() 来创建一个 nlp 对象，该对象可以使用 Stanza 管道处理文本，并生成 spaCy 的 Doc 对象。例如：

import stanza
import spacy_stanza

# 如有需要，下载 stanza 模型
stanza.download("en")

# 初始化管道
nlp = spacy_stanza.load_pipeline("en")

doc = nlp("Barack Obama was born in Hawaii. He was elected president in 2008.")
for token in doc:
    print(token.text, token.lemma_, token.pos_, token.dep_, token.ent_type_)
print(doc.ents)

自定义及拓展

spacy-stanza 允许用户在 spaCy 管道上添加自定义组件。例如，用户可以添加自定义的文本分类组件或是通过规则模式增强命名实体识别：

from spacy import Language
@Language.component("custom_component")
def custom_component(doc):
    print(f"Custom component called: {doc.text}")
    return doc

nlp.add_pipe("custom_component")
doc = nlp("Some text")

序列化与保存

完整的 Stanza 管道配置可存储在 spaCy 的配置文件中，这允许用户像存储其他 nlp 管道一样保存和加载使用 spacy_stanza 创建的管道：

# 保存到本地目录
nlp.to_disk("./stanza-spacy-model")

# 重新加载管道
nlp = spacy.load("./stanza-spacy-model")

请注意，默认情况下，不保存任何 Stanza 模型数据。因此，用户需要通过 stanza.download() 命令单独下载这些大型模型，并确保它们在配置文件中指定的路径可用。

通过以上功能，spacy-stanza 提供了灵活且强大的多语言处理工具，帮助开发者更便捷地进行复杂的语言分析。