KeyBERT: 一种基于BERT的简单而强大的关键词提取技术

KeyBERT简介

KeyBERT是一种基于BERT嵌入的简单而强大的关键词提取技术。它利用BERT模型生成文档和候选词/短语的嵌入向量,然后通过计算余弦相似度来找出最能代表整个文档的关键词和关键短语。

KeyBERT的主要特点包括:

1. 简单易用 - 只需安装和几行代码即可快速实现关键词提取
2. 基于强大的BERT模型 - 利用BERT的语义理解能力提取高质量关键词
3. 灵活性高 - 支持多种嵌入模型和微调选项
4. 适用于多种语言 - 可用于英语及其他语言文本

KeyBERT工作原理

KeyBERT的关键词提取过程如下:

1. 使用BERT模型生成整个文档的嵌入向量
2. 从文档中提取候选词/短语,并生成它们的BERT嵌入向量
3. 计算文档嵌入与候选词嵌入之间的余弦相似度
4. 根据相似度排序,选择最相似的词/短语作为关键词

这一过程可以用下图来直观表示:

安装与基本使用

KeyBERT可以通过pip轻松安装:

pip install keybert

基本使用示例:

from keybert import KeyBERT

doc = """
Supervised learning is the machine learning task of learning a function that
maps an input to an output based on example input-output pairs. It infers a
function from labeled training data consisting of a set of training examples.
In supervised learning, each example is a pair consisting of an input object
(typically a vector) and a desired output value (also called the supervisory signal).
A supervised learning algorithm analyzes the training data and produces an inferred function,
which can be used for mapping new examples. An optimal scenario will allow for the
algorithm to correctly determine the class labels for unseen instances. This requires
the learning algorithm to generalize from the training data to unseen situations in a
'reasonable' way (see inductive bias).
"""

kw_model = KeyBERT()
keywords = kw_model.extract_keywords(doc)
print(keywords)

输出结果:

[('learning algorithm', 0.6978),
 ('machine learning', 0.6305),
 ('supervised learning', 0.5985),
 ('algorithm analyzes', 0.5860),
 ('learning function', 0.5850)]

高级功能

KeyBERT还提供了一些高级功能来优化关键词提取效果:

1. 最大和距离 (Max Sum Distance) - 通过选择互不相似的关键词组合来增加多样性
2. 最大边缘相关性 (Maximal Marginal Relevance) - 在相关性和多样性之间权衡
3. 自定义嵌入模型 - 支持Sentence-Transformers、Flair、Spacy等多种模型
4. 引导式提取 - 使用种子关键词引导提取过程
5. 大语言模型集成 - 可以结合GPT等大模型进行关键词提取

总结

KeyBERT为NLP研究者和实践者提供了一种简单而强大的关键词提取解决方案。它易于使用,同时保留了高度的灵活性,可以根据具体需求进行优化。无论是快速原型开发还是生产环境部署,KeyBERT都是一个值得考虑的工具。

随着NLP技术的不断发展,KeyBERT也在持续更新和完善。研究人员可以关注其GitHub仓库来获取最新进展。通过社区的共同努力,相信KeyBERT会变得更加强大和易用,为更多NLP应用提供支持。