wink-nlp-utils

NLP 函数用于放大否定、管理省略、创建 n-gram、词干、语音编码到标记等。

使用 wink-nlp-utils 为自然语言处理（NLP）准备原始文本。它提供了一套 API 来处理字符串，如名称、句子、段落和以字符串/单词数组表示的标记。它们为许多机器学习任务执行必要的预处理，如语义搜索和分类。

<table><tr><td><h3>👉🏽</h3></td><td> 我们<b>建议使用 <a href="https://github.com/winkjs/wink-nlp?tab=readme-ov-file#readme">winkNLP</a></b> 进行核心自然语言处理任务。<br/><br/>它以<a href="https://observablehq.com/@winkjs/how-to-measure-winknlps-speed-on-browsers">极快的速度</a><a href="https://winkjs.org/wink-nlp/document.html">执行</a>分词、句子边界检测和命名实体识别。它支持您从情感分析、词性标注、词形还原、词干提取、停用词去除、否定处理、二元组到频率表创建等所有<a href="https://winkjs.org/wink-nlp/leveraging-out.html">文本处理需求</a>。<br/><br/><b><a href="https://github.com/winkjs/wink-nlp?tab=readme-ov-file#readme">WinkNLP</a></b> 具有用户友好的声明式 API，用于<a href="https://winkjs.org/wink-nlp/each.html">迭代</a>、<a href="https://winkjs.org/wink-nlp/filter.html">过滤</a>和<a href="https://winkjs.org/wink-nlp/visualizing-markup.html">文本可视化</a>，并可在<a href="https://winkjs.org/wink-nlp/wink-nlp-in-browsers.html">网络浏览器上运行</a>。 </td></tr></table>

安装

使用 npm 安装：

npm install wink-nlp-utils --save

入门

wink-nlp-utils 提供了超过 36 个实用函数用于自然语言处理任务。一些代表性的例子包括从字符串中提取人名、组合聊天机器人的训练语料库、句子边界检测、分词和停用词去除：


// 加载 wink-nlp-utils
var nlp = require( 'wink-nlp-utils' );

// 从字符串中提取人名：
var name = nlp.string.extractPersonsName( 'Dr. Sarah Connor M. Tech., PhD. - AI' );
console.log( name );
// -> 'Sarah Connor'

// 从字符串中组合所有可能的句子：
var str = '[I] [am having|have] [a] [problem|question]';
console.log( nlp.string.composeCorpus( str ) );
// -> [ 'I am having a problem',
// ->   'I am having a question',
// ->   'I have a problem',
// ->   'I have a question' ]

// 句子边界检测。
var para = 'AI Inc. is focussing on AI. I work for AI Inc. My mail is r2d2@yahoo.com';
console.log( nlp.string.sentences( para ) );
// -> [ 'AI Inc. is focussing on AI.',
//      'I work for AI Inc.',
//      'My mail is r2d2@yahoo.com' ]

// 对句子进行分词。
var s = 'For details on wink, check out http://winkjs.org/ URL!';
console.log( nlp.string.tokenize( s, true ) );
// -> [ { value: 'For', tag: 'word' },
//      { value: 'details', tag: 'word' },
//      { value: 'on', tag: 'word' },
//      { value: 'wink', tag: 'word' },
//      { value: ',', tag: 'punctuation' },
//      { value: 'check', tag: 'word' },
//      { value: 'out', tag: 'word' },
//      { value: 'http://winkjs.org/', tag: 'url' },
//      { value: 'URL', tag: 'word' },
//      { value: '!', tag: 'punctuation' } ]

// 去除停用词：
var t = nlp.tokens.removeWords( [ 'mary', 'had', 'a', 'little', 'lamb' ] );
console.log( t );
// -> [ 'mary', 'little', 'lamb' ]