EngTagger

英语词性标注库；Lingua::EN::Tagger的Ruby移植版

描述

这是Perl库Lingua::EN::Tagger的Ruby移植版，它是一个基于概率的、经过语料库训练的标注器，可以根据查找词典和一组概率值为英语文本分配词性标签。标注器基于条件概率分配适当的标签——它检查前面的标签以确定当前词的适当标签。未知词根据词形态进行分类，或者可以设置为被视为名词或其他词性。标注器还使用一组正则表达式尽可能多地提取名词和名词短语。

特性

• 为英语文本分配词性标签
• 从已标注的文本中提取名词短语
• 等等

用法简介

require 'engtagger'

# 创建一个解析器对象
tgr = EngTagger.new

# 示例文本
text = "Alice chased the big fat cat."

# 为文本添加词性标签
tagged = tgr.add_tags(text)

#=> "<nnp>Alice</nnp> <vbd>chased</vbd> <det>the</det> <jj>big</jj> <jj>fat</jj><nn>cat</nn> <pp>.</pp>"

# 获取所有名词和名词短语及其出现次数的列表
word_list = tgr.get_words(text)

#=> {"Alice"=>1, "cat"=>1, "fat cat"=>1, "big fat cat"=>1}

# 获取已标注文本的可读版本
readable = tgr.get_readable(text)

#=> "Alice/NNP chased/VBD the/DET big/JJ fat/JJ cat/NN ./PP"

# 从已标注的输出中获取所有名词
nouns = tgr.get_nouns(tagged)

#=> {"cat"=>1, "Alice"=>1}

# 获取所有专有名词
proper = tgr.get_proper_nouns(tagged)

#=> {"Alice"=>1}

# 获取所有过去时态动词
pt_verbs = tgr.get_past_tense_verbs(tagged)

#=> {"chased"=>1}

# 获取所有形容词
adj = tgr.get_adjectives(tagged)

#=> {"big"=>1, "fat"=>1}

# 获取任何语法层级的所有名词短语
# （与word_list相同，但接受已标注的输入）
nps = tgr.get_noun_phrases(tagged)

#=> {"Alice"=>1, "cat"=>1, "fat cat"=>1, "big fat cat"=>1}

标签集

这里使用的词性标签集是Penn Treebank标签集的修改版本。包含非字母字符的标签已被重新定义，以便在我们的数据结构中更好地工作。此外，"限定词"标签（DET）已从"DT"更改，以避免与HTML标签<DT>混淆。 CC 连接词 和，或 CD 基数词 3，十五 DET 限定词 这个，每个，一些 EX 存在句中的"there" there FW 外来词 IN 介词/连词 为了，的，虽然，那个 JJ 形容词 快乐的，坏的 JJR 形容词比较级 更快乐的，更糟的 JJS 形容词最高级 最快乐的，最糟的 LS 列表项符号 A，A. MD 情态动词 能，可能，将 NN 名词 飞机，数据 NNP 专有名词 伦敦，迈克尔 NNPS 专有名词复数 澳大利亚人，卫理公会信徒 NNS 名词复数 女人们，书籍 PDT 前置限定词 相当，所有，一半 POS 所有格 's，' PRP 第二人称所有格代词 我的，你的 PRPS 所有格限定词 他们的，你的 RB 副词 经常，不，非常，这里 RBR 副词比较级 更快地 RBS 副词最高级 最快地 RP 小品词 上，离，出 SYM 符号 * TO 介词 到 UH 感叹词 哦，是的，嗯 VB 动词不定式 拿，住 VBD 动词过去式 拿了，住了 VBG 动词现在分词 正在拿，正在住 VBN 动词过去分词 被拿，被住 VBP 动词现在时基本形式 拿，住 VBZ 动词第三人称单数现在时 拿，住 WDT 疑问限定词 哪个，无论什么 WP 疑问代词 谁，无论谁 WPS 疑问所有格限定词 谁的 WRB 疑问副词 何时，如何，然而

PP 句子结束标点 。，！，？ PPC 逗号 ， PPD 美元符号 $ PPL 左引号 `` PPR 右引号 '' PPS 冒号、分号、省略号 ：，...，- LRB 左括号 (，{，[ RRB 右括号 )，}，]

安装

推荐方法（无需sudo）：

建议在用户环境中安装engtaggergem，无需root权限。这样可以确保正确的文件权限并避免潜在问题。你可以使用Ruby版本管理器如rbenv或rvm来管理Ruby版本和gem集。

无需sudo安装，只需运行：

gem install engtagger

替代方法（使用sudo）：

如果必须使用sudo安装，你需要在安装后调整文件权限以确保可访问性。

1. 使用sudo安装gem：

sudo gem install engtagger

2. 为你的用户授予必要权限：

sudo chown -R $(whoami) /Library/Ruby/Gems/2.6.0/gems/engtagger-0.4.1

注意： 上述路径假设你使用的是Ruby 2.6.0版本。如果使用不同版本，你需要相应修改路径。可以通过运行ruby -v查看Ruby版本。

故障排除

权限问题： 如果安装后遇到"无法加载此文件"的错误，可能是由于文件权限不正确。如果在安装过程中使用了sudo，请确保按照说明调整了权限。

作者

长谷部洋一郎 (yohasebe [at] gmail.com)

贡献者

非常感谢本GitHub页面右侧列出的所有协作者。

致谢

这个Ruby库是CPAN上Lingua::EN::Tagger的直接移植。因此，其核心算法/设计的功劳应归于原始Perl版本的作者Aaron Coburn。

许可证

本库基于GPL许可证发布。详情请参阅LICENSE文件。