php-text-analysis

项目介绍：PHP Text Analysis

PHP Text Analysis 是一个使用 PHP 语言进行信息检索 (Information Retrieval, IR) 和自然语言处理 (Natural Language Processing, NLP) 的库。这个项目为开发者提供了一系列工具，帮助他们在 PHP 环境下处理文本数据。这些工具包括：

文档分类：能够根据文本的内容进行类别划分。
情感分析：识别文本中表达的不同情绪。
文档比较：对比不同文本之间的相似性或差异。
词频分析：计算各个词在文本中出现的频率。
词法分析（分词）：将文本分解成一个个单词或符号。
词干提取：获取词汇的词干形式，以便简化处理和分析。
搭配词分析：使用点互信息（Pointwise Mutual Information）分析词汇结合。
词汇多样性测量：评估文本中词汇的多样性。
语料库分析：对大规模文本数据的整体分析。
文本摘要生成：提取文本中的主要信息或主题。

该项目的相关文档可以在其书籍和维基页面中找到。

项目文档

开发者正在为 PHP Text Analysis 编写一本书，并邀请大家贡献内容。这本书旨在详尽描述库的各个功能。此外，项目的文档也存在于其维基页面中，方便用户查阅。

安装说明

要在项目中加入 PHP Text Analysis，可以通过 Composer 如下安装：

composer require yooper/php-text-analysis

功能示例

分词 (Tokenization)

分词是将文本拆分为独立单词或符号的过程。默认情况下，可以使用如下代码进行分词：

$tokens = tokenize($text);

若需使用特定的分词器，可以传入分词器类的名称：

$tokens = tokenize($text, \TextAnalysis\Tokenizers\PennTreeBankTokenizer::class);

规范化 (Normalization)

默认的规范化功能将所有的词语转换为小写，通过 strtolower 实现。也可以自定义规范化的函数：

$normalizedTokens = normalize_tokens(array $tokens);
$normalizedTokens = normalize_tokens(array $tokens, 'mb_strtolower');
$normalizedTokens = normalize_tokens(array $tokens, function($token){ return mb_strtoupper($token); });

词频分布 (Frequency Distributions)

通过调用 freq_dist 函数，能够获取一个词频分布实例：

$freqDist = freq_dist(tokenize($text));

Ngram 生成

默认情况下，生成的是二元组 (bigram)：

$bigrams = ngrams($tokens);

若需自定义 ngram：

$trigrams = ngrams($tokens, 3, '|');

词干提取 (Stemming)

使用 Porter Stemmer 进行词干提取：

$stemmedTokens = stem($tokens);

可以通过传入词干提取器类的名称进行自定义：

$stemmedTokens = stem($tokens, \TextAnalysis\Stemmers\MorphStemmer::class);

使用 Rake 进行关键词提取

Rake 算法用于快速关键词提取。在使用前需清理数据：

$rake = rake($tokens, 3);
$results = $rake->getKeywordScores();

使用 Vader 进行情感分析

Vader 是情感分析的工具。需要在数据规范化之后调用：

$sentimentScores = vader($tokens);

使用朴素贝叶斯进行文档分类

通过 PHP 实现的朴素贝叶斯算法进行文档分类，例如对影评进行分类：

$nb = naive_bayes();
$nb->train('mexican', tokenize('taco nacho enchilada burrito'));        
$nb->train('american', tokenize('hamburger burger fries pop'));  
$nb->predict(tokenize('my favorite food is a burrito'));