又一个关键词提取器 (Yake)

一种基于文本特征的无监督自动关键词提取方法。

YAKE! 是一种轻量级的无监督自动关键词提取方法，它利用从单个文档中提取的文本统计特征来选择文本中最重要的关键词。我们的系统不需要在特定的文档集上进行训练，也不依赖于词典、外部语料库、文本大小、语言或领域。为了展示我们方法的优点和重要性，我们将其与十种最先进的无监督方法（TF.IDF、KP-Miner、RAKE、TextRank、SingleRank、ExpandRank、TopicRank、TopicalPageRank、PositionRank 和 MultipartiteRank）以及一种有监督方法（KEA）进行了比较。在二十个数据集上进行的实验结果表明，我们的方法在不同规模、语言或领域的多个集合中显著优于现有方法。除了此处描述的 Python 包外，我们还提供了一个<a href="http://yake.inesctec.pt" target="_blank">演示</a>、一个<a href="http://yake.inesctec.pt/apidocs/#!/available_methods/post_yake_v2_extract_keywords" target="_blank">API</a>和一个<a href="https://play.google.com/store/apps/details?id=com.yake.yake" target="_blank">移动应用</a>。

主要特点

无监督方法
独立于语料库
独立于领域和语言
单文档处理

基准测试

关于基准测试结果，请查看我们发表在信息科学期刊上的论文（参见参考文献部分）。

原理

随着信息的复杂性和规模不断增长，从文本中提取关键词已成为个人和组织面临的挑战。为了能够及时和适当地处理文本，自动化这一任务的需求促使自动关键词提取工具应运而生。尽管取得了进展，但仍然缺乏能够从单个文档中自动提取关键词的多语言在线工具。Yake! 是一种新颖的基于特征的多语言关键词提取系统，它支持不同大小、领域或语言的文本。与其他方法不同，Yake! 不依赖词典或同义词库，也不需要在任何语料库上进行训练。相反，它采用无监督方法，基于从文本中提取的特征进行处理，因此可以应用于用不同语言编写的文档，而无需额外的知识。这对于大量任务和众多情况都可能带来好处，尤其是在获取训练语料库受限或受限制的情况下。

在哪里可以找到 YAKE！？

YAKE! 可以在线获取 [http://yake.inesctec.pt]，在 Google Play 上下载，作为开源 Python 包 [https://github.com/LIAAD/yake] 使用，以及作为 API 使用。

安装 YAKE!

有三种安装方式。

如果您想在命令行中运行 YAKE!（比如集成到脚本中），但不需要在其上运行 HTTP 服务器，可以使用我们的简单 YAKE! Docker 镜像。这个容器允许您将文本提取作为命令运行，然后退出。
如果您想将 YAKE! 作为具有 RESTful API 的 HTTP 服务器运行（比如集成到 Web 应用程序中或托管您自己的 YAKE!），可以使用我们的 RESTful API 服务器镜像。这个容器/服务器将在后台运行。
如果您想直接安装 YAKE! 或将其集成到您的 Python 应用程序中，可以安装它及其依赖项。

选项 1. 在 Docker 容器中作为 CLI 工具使用 YAKE

首先，安装 Docker。Ubuntu 用户，请参阅我们下面的脚本以获取完整的安装脚本。

然后，运行：

docker run liaad/yake:latest -ti "咖啡因是甲基黄嘌呤类中枢神经系统（CNS）兴奋剂。[10] 它是世界上使用最广泛的精神活性药物。与许多其他精神活性物质不同，它在世界上几乎所有地方都是合法且不受管制的。有几种已知的作用机制可以解释咖啡因的效果。最突出的是它可逆地阻止腺苷对其受体的作用，从而防止腺苷引起的嗜睡。咖啡因还刺激自主神经系统的某些部分。"

示例文本来自维基百科

选项 2. Docker 容器中的 REST API 服务器

这种安装方式将为您提供 YAKE! 原始 REST API 的镜像，可在此处获取。

docker run -p 5000:5000 -d liaad/yake-server:latest

启动后，容器将在后台运行，地址为 http://127.0.0.1:5000。要访问 YAKE! API 文档，请访问 http://127.0.0.1:5000/apidocs/。

您可以使用 curl 测试 RESTful API：

curl -X POST "http://localhost:5000/yake/" -H "accept: application/json" -H "Content-Type: application/json" \
-d @- <<'EOF'
{
  "language": "en",
  "max_ngram_size": 3,
  "number_of_keywords": 10,
  "text": "据消息人士透露，谷歌正在收购 Kaggle，这是一个举办数据科学和机器学习竞赛的平台。关于交易的细节仍然有些模糊，但鉴于谷歌本周在旧金山举办其 Cloud Next 大会，官方公告可能最早于明天发布。通过电话联系时，Kaggle 联合创始人兼首席执行官 Anthony Goldbloom 拒绝否认收购正在进行。谷歌本身也拒绝'对传言发表评论'。Kaggle 于 2010 年由 Goldbloom 和 Ben Hamner 创立，其平台上约有 50 万数据科学家。该服务起步较早，尽管有一些竞争对手如 DrivenData、TopCoder 和 HackerRank，但通过专注于其特定领域，它一直保持领先地位。该服务基本上是运行数据科学和机器学习竞赛的事实上的家园。通过收购 Kaggle，谷歌正在购买最大和最活跃的数据科学家社区之一..."
}
EOF

示例文本来自维基百科

选项 3. 独立安装（用于开发或集成）

要求

Python3

安装

使用 pip 安装 Yake：

pip install git+https://github.com/LIAAD/yake

使用 pip 升级：

pip install git+https://github.com/LIAAD/yake –-upgrade

使用方法（命令行）

如何在您喜欢的命令行中使用

用法: yake [选项]

选项:
	-ti, --text_input TEXT          输入文本，用单引号(')括起来
	-i, --input_file TEXT           输入文件
	-l, --language TEXT             语言
	-n, --ngram-size INTEGER        n元组的最大大小
	-df, --dedup-func [leve|jaro|seqm]
									去重函数
	-dl, --dedup-lim FLOAT          去重阈值
	-ws, --window-size INTEGER      窗口大小
	-t, --top INTEGER               要提取的关键短语数量
	-v, --verbose			获取详细信息（如得分）
	--help                          显示此消息并退出

使用方法（Python）

如何在 Python 中使用

import yake

text = "据消息人士透露，谷歌正在收购 Kaggle，这是一个举办数据科学和机器学习"\
"竞赛的平台。关于交易的细节仍然有些模糊，但鉴于谷歌本周在旧金山举办其 Cloud "\
"Next 大会，官方公告可能最早于明天发布。"\
"通过电话联系时，Kaggle 联合创始人兼首席执行官 Anthony Goldbloom 拒绝否认收购正在进行。"\
"谷歌本身也拒绝'对传言发表评论'。Kaggle 于 2010 年由 Goldbloom 和 Ben Hamner 创立，"\
"其平台上约有 50 万数据科学家。"\
"该服务起步较早，尽管有一些竞争对手如 DrivenData、TopCoder 和 HackerRank，"\
"但通过专注于其特定领域，它一直保持领先地位。"\
"该服务基本上是运行数据科学和机器学习竞赛的事实上的家园。"\
"通过收购 Kaggle，谷歌正在购买最大和最活跃的数据科学家社区之一 - 这将使其在这个社区中"\
"获得更多的关注度（尽管由于 Tensorflow 和其他项目，它已经拥有相当多的关注度）。"\
"Kaggle 与谷歌也有一段历史，但那是最近的事。本月早些时候，"\
"谷歌和 Kaggle 合作举办了一个 10 万美元的机器学习竞赛，涉及 YouTube 视频分类。"\
"该竞赛与 Google Cloud Platform 也有深度集成。据我们了解，谷歌"\
"将继续运营该服务 - 可能会保留其当前的名称。虽然这次收购可能更多地是关于"\
"Kaggle 的社区而非技术，但 Kaggle 确实为举办其竞赛和 'kernels' 构建了一些有趣的工具。"\
"在 Kaggle 上，kernels 基本上是用于分析数据集的源代码，开发者可以"\
"在平台上共享这些代码（该公司之前称之为 'scripts'）。"\
"与类似的以竞赛为中心的网站一样，Kaggle 也运营着一个求职板块。目前还不清楚谷歌将如何处理"\
"服务的这一部分。根据 Crunchbase 的数据，Kaggle 自 2010 年成立以来已筹集了 1250 万美元（尽管 PitchBook 称为 1275 万美元）。"\
"Kaggle 的投资者包括 Index Ventures、SV Angel、Max Levchin、Naval Ravikant、"\
"谷歌首席经济学家 Hal Varian、Khosla Ventures 和 Yuri Milner"

假设使用默认参数

kw_extractor = yake.KeywordExtractor()
keywords = kw_extractor.extract_keywords(text)

for kw in keywords:
	print(kw)

指定参数

language = "en"
max_ngram_size = 3
deduplication_threshold = 0.9
deduplication_algo = 'seqm'
windowSize = 1
numOfKeywords = 20

custom_kw_extractor = yake.KeywordExtractor(lan=language, n=max_ngram_size, dedupLim=deduplication_threshold, dedupFunc=deduplication_algo, windowsSize=windowSize, top=numOfKeywords, features=None)
keywords = custom_kw_extractor.extract_keywords(text)

for kw in keywords:
    print(kw)

输出

分数越低,关键词越相关。

('google', 0.026580863364597897)
('kaggle', 0.0289005976239829)
('ceo anthony goldbloom', 0.029946071606210194)
('san francisco', 0.048810837074825336)
('anthony goldbloom declined', 0.06176910090701819)
('google cloud platform', 0.06261974476422487)
('co-founder ceo anthony', 0.07357749587020043)
('acquiring kaggle', 0.08723571551039863)
('ceo anthony', 0.08915156857226395)
('anthony goldbloom', 0.09123482372372106)
('machine learning', 0.09147989238151344)
('kaggle co-founder ceo', 0.093805063905847)
('data', 0.097574333771058)
('google cloud', 0.10260128641464673)
('machine learning competitions', 0.10773000650607861)
('francisco this week', 0.11519915079240485)
('platform', 0.1183512305596321)
('conference in san', 0.12392066376108138)
('service', 0.12546743261462942)
('goldbloom', 0.14611408778815776)

高亮功能

高亮功能会使用默认标签 <kw> 标记文本中的每个关键词。


from yake.highlight import TextHighlighter

th = TextHighlighter(max_ngram_size = 3)
th.highlight(text, keywords)

输出

默认情况下,关键词将使用标签'kw'进行高亮显示。

Sources tell us that <kw>google</kw> is <kw>acquiring kaggle</kw>, a platform that <kw>hosts data science</kw> and <kw>machine learning</kw> competitions. Details about the transaction remain somewhat vague , but given that <kw>google</kw> is hosting its Cloud Next conference in <kw>san francisco</kw> this week, the official announcement could come as early as tomorrow.  Reached by phone, Kaggle co-founder <kw>ceo anthony goldbloom</kw> declined to deny that the acquisition is happening. <kw>google</kw> itself declined 'to comment on rumors'.
.....
.....

自定义高亮功能

除了使用默认标签标记文本外,用户还可以指定自己的自定义高亮。在以下文本中,标签  使用了一个假设的 my_class 函数,其目的是以白色高亮相关关键词。

输出


from yake.highlight import TextHighlighter
th = TextHighlighter(max_ngram_size = 3, highlight_pre = "<span class='my_class' >", highlight_post= "</span>")
th.highlight(text, keywords)

self.highlight_postSources tell us that <span class='my_class' >google</span> is <span class='my_class' >acquiring kaggle</span>, a platform that <span class='my_class' >hosts data science</span> and <span class='my_class' >machine learning</span> self.highlight_postcompetitions. Details about the transaction remain somewhat vague , but given that <span class='my_class' >google</span> is hosting self.highlight_postits Cloud Next conference in <span class='my_class' >san francisco</span> this week, the official announcement could come as early self.highlight_postas tomorrow.  Reached by phone, Kaggle co-founder <span class='my_class' >ceo anthony goldbloom</span> declined to deny that the self.highlight_postacquisition is happening. <span class='my_class' >google</span> itself declined 'to comment on rumors'.
.....
.....

英语以外的语言

虽然英语(en)是默认语言,但用户可以通过指定相应的语言通用代码来使用YAKE!从任何语言中提取关键词。以下示例展示了如何从葡萄牙语文本中提取关键词。

text = '''
"Conta-me Histórias." Xutos inspiram projeto premiado. A plataforma "Conta-me Histórias" foi distinguida com o Prémio Arquivo.pt, atribuído a trabalhos inovadores de investigação ou aplicação de recursos preservados da Web, através dos serviços de pesquisa e acesso disponibilizados publicamente pelo Arquivo.pt . Nesta plataforma em desenvolvimento, o utilizador pode pesquisar sobre qualquer tema e ainda executar alguns exemplos predefinidos. Como forma de garantir a pluralidade e diversidade de fontes de informação, esta são utilizadas 24 fontes de notícias eletrónicas, incluindo a TSF. Uma versão experimental (beta) do "Conta-me Histórias" está disponível aqui.
A plataforma foi desenvolvida por Ricardo Campos investigador do LIAAD do INESC TEC e docente do Instituto Politécnico de Tomar, Arian Pasquali e Vitor Mangaravite, também investigadores do LIAAD do INESC TEC, Alípio Jorge, coordenador do LIAAD do INESC TEC e docente na Faculdade de Ciências da Universidade do Porto, e Adam Jatwot docente da Universidade de Kyoto.
'''

custom_kw_extractor = yake.KeywordExtractor(lan="pt")
keywords = custom_kw_extractor.extract_keywords(text)

for kw in keywords:
    print(kw)

输出

('conta-me histórias', 0.006225012963810038)
('liaad do inesc', 0.01899063587015275)
('inesc tec', 0.01995432290332246)
('conta-me', 0.04513273690417472)
('histórias', 0.04513273690417472)
('prémio arquivo.pt', 0.05749361520927859)
('liaad', 0.07738867367929901)
('inesc', 0.07738867367929901)
('tec', 0.08109398065524037)
('xutos inspiram projeto', 0.08720742489353424)
('inspiram projeto premiado', 0.08720742489353424)
('adam jatwot docente', 0.09407053486771558)
('arquivo.pt', 0.10261392141666957)
('alípio jorge', 0.12190479662535166)
('ciências da universidade', 0.12368384021490342)
('ricardo campos investigador', 0.12789997272332762)
('politécnico de tomar', 0.13323587141127738)
('arian pasquali', 0.13323587141127738)
('vitor mangaravite', 0.13323587141127738)
('preservados da web', 0.13596322680882506)

如何安装Docker

以下是Ubuntu中Docker的"复制粘贴"安装脚本。尽情使用吧。

# 安装依赖
sudo apt-get update
sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    software-properties-common

# 添加Docker仓库
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo apt-key fingerprint 0EBFCD88
sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"
sudo apt-get update

# 安装Docker
sudo apt-get install -y docker-ce

# 启动Docker守护进程
sudo service docker start

# 将自己添加到Docker用户组，否则docker会报错说不知道Docker守护进程是否正在运行
sudo usermod -aG docker ${USER}

# 安装docker-compose
sudo curl -L "https://github.com/docker/compose/releases/download/1.23.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
source ~/.bashrc
docker-compose --version
echo "完成！"

感谢https://github.com/silvae86提供的Docker脚本。

参考文献

使用YAKE时请引用以下作品

Information Sciences期刊上的深入论文

Campos, R., Mangaravite, V., Pasquali, A., Jatowt, A., Jorge, A., Nunes, C. and Jatowt, A. (2020). YAKE! Keyword Extraction from Single Documents using Multiple Local Features. In Information Sciences Journal. Elsevier, Vol 509, pp 257-289. pdf

ECIR'18最佳短论文

Campos R., Mangaravite V., Pasquali A., Jorge A.M., Nunes C., and Jatowt A. (2018). A Text Feature Based Automatic Keyword Extraction Method for Single Documents. In: Pasi G., Piwowarski B., Azzopardi L., Hanbury A. (eds). Advances in Information Retrieval. ECIR 2018 (Grenoble, France. March 26 – 29). Lecture Notes in Computer Science, vol 10772, pp. 684 - 691. pdf

Campos R., Mangaravite V., Pasquali A., Jorge A.M., Nunes C., and Jatowt A. (2018). YAKE! Collection-independent Automatic Keyword Extractor. In: Pasi G., Piwowarski B., Azzopardi L., Hanbury A. (eds). Advances in Information Retrieval. ECIR 2018 (Grenoble, France. March 26 – 29). Lecture Notes in Computer Science, vol 10772, pp. 806 - 810. pdf