spark-nlp

Spark NLP：强大的自然语言处理库

Spark NLP是一个建立在Apache Spark基础上的先进自然语言处理库。它为机器学习管道提供简单、高效和准确的NLP注释,可以在分布式环境中轻松扩展。

主要特点

Spark NLP具有以下突出特点:

提供83000多个预训练的管道和模型,支持200多种语言
涵盖广泛的NLP任务,如分词、词性标注、命名实体识别、依存句法分析等
支持最新的transformer模型,如BERT、RoBERTa、ALBERT等
不仅支持Python和R,还支持Java虚拟机生态系统(Java、Scala和Kotlin)
可以轻松导入TensorFlow、ONNX、OpenVINO等框架的模型

功能亮点

Spark NLP提供了丰富的NLP功能:

文本预处理:分词、词干提取、词形还原等
句法分析:词性标注、依存分析等
情感分析和文本分类
词嵌入和句子嵌入
问答和摘要生成
机器翻译
图像分类和图像描述
语音识别
零样本学习

快速上手

使用Spark NLP非常简单。以下是一个使用预训练管道的Python示例:

from sparknlp.pretrained import PretrainedPipeline
import sparknlp

spark = sparknlp.start()

pipeline = PretrainedPipeline('explain_document_dl', lang='en')

text = "The Mona Lisa is a 16th century oil painting created by Leonardo. It's held at the Louvre in Paris."

result = pipeline.annotate(text)

print(result['entities'])
# 输出: ['Mona Lisa', 'Leonardo', 'Louvre', 'Paris']