scispacy

SciSpaCy 项目介绍

SciSpaCy 是一个专门针对科学文档处理的语言处理工具包，基于流行的自然语言处理库 spaCy 进行开发。它提供了一系列自定义的管道组件和模型，主要用于处理生物医学领域的文本数据。该项目由 Allen Institute for Artificial Intelligence (AI2) 开发，是一个开放源代码项目。

项目功能概述

SciSpaCy 提供了一套完整的工具帮助用户在生物医学文本中进行自然语言处理，这些工具包括：

• 自定义分词器：在 spaCy 的基础分词器之上，添加了适用于科学文献的特定分词规则。
• 词性标注器和句法解析器：这些模型经过生物医学数据训练，能够更好地处理相关领域的文本。
• 实体识别和命名实体模型：提供了一些专门任务的命名实体识别（NER）模型，便于识别和处理科学文献中的特定术语。

安装指南

SciSpaCy 的安装需要两个步骤：安装库文件和安装模型。以下是详细步骤：

1. 安装 SciSpaCy 库

   pip install scispacy

2. 安装模型 选择需要的模型，运行类似以下命令进行安装：

   pip install https://s3-us-west-2.amazonaws.com/ai2-s2-scispacy/releases/v0.5.4/en_core_sci_sm-0.5.4.tar.gz

注意：建议在独立的 Python 环境（如 virtualenv 或 conda）中安装 SciSpaCy，并确保 Python 版本不少于 3.6。

nmslib 安装问题

在安装 nmslib 这个依赖时，可能会遇到一些困难。根据不同的操作系统和 Python 版本，安装方法会有所不同。例如，某些环境下可以使用 mamba install nmslib 或特定的 CFLAGS 参数进行手动安装。

使用环境设置

可以使用 Mamba 设置一个虚拟环境，并安装所需的 Python 版本。以下是简单步骤：

1. 安装 Mamba。

2. 使用 Mamba 创建名为 "scispacy" 的环境，指定 Python 版本。

   mamba create -n scispacy python=3.10

3. 激活环境。

   mamba activate scispacy

可用模型

SciSpaCy 提供了多个模型，每个模型均适配不同的数据处理需求：

• en_core_sci_sm：提供生物医学数据处理的完备 spaCy 管道，词汇量约 100k。
• en_core_sci_md：比 sm 模型更大，词汇量 360k，包含 50k 的词向量。
• en_core_sci_lg：更大规模的模型，词汇量 785k，词向量达 600k。
• en_core_sci_scibert：使用 allenai/scibert-base 的 transformer 模型，词汇量 785k。

还有专门训练在不同生物医学语料库上的 NER 模型，如 CRAFT、JNLPBA、BC5CDR 等。

其他管道组件

缩略词检测

使用缩略词检测组件（AbbreviationDetector），可以自动检测并扩展生物医学文本中的缩写，方便理解原文。

实体链接器

这个组件用于将文本中的命名实体链接到知识库中，支持多个知识库，如 UMLS、MeSH、RxNorm 等。可以根据需要调整链接器的参数，以更好地适应特定应用场景。

Hearst 模式

Hearst 模式组件用于从文本中自动提取下义词关系，这对于构建知识图谱或语义分析特别有用。

引用

如果在研究中使用 SciSpaCy，用户需要引用以下文献：
Neumann, Mark, et al. "ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing."

SciSpaCy 是一个有用的工具，特别为处理和分析生物医学和科学文本领域的数据而设计，提供强大的支持和丰富的功能。在科学研究和开发中，它能够显著提升文本处理的效率和效果。