gse

项目介绍

综述

Gse 是一个高效的多语言自然语言处理（NLP）和文本分词工具，旨在支持包括英语、中文、日文在内的多种语言。它不仅可以独立使用，还可以与 Elasticsearch 和 Bleve 集成，这是其跨领域应用的一个优势。

功能特点

Gse 具有以下显著特点：

多种分词模式：支持普通模式、搜索引擎模式、全模式、精确模式及隐马尔可夫模型（HMM）模式等多种分词模式，满足不同应用场景的需求。
字典支持：支持用户自定义字典及嵌入式字典，同时提供词性标注、分词信息分析、停用词过滤及词语修剪等功能。
多语言支持：除了支持英语、中文和日文外，Gse 还可以处理其他语言，并支持繁体中文。
先进的算法：使用维特比算法进行 HMM 分词，确保了较高的精度。此外，Gse 还在努力集成 TensorFlow，为 NLP 提供更多支持，如命名实体识别功能。
文本速度：单线程文本分词速度可达 9.2MB/s，协程并发分词速度则提升至 26.8MB/s，HMM 分词单线程速度为 3.2MB/s。

算法概述

Gse 采用了双数组字典树（Double-Array Trie）进行字典匹配，分词算法则是基于词频和动态规划的最短路径算法，并结合了 DAG 和 HMM 分词方法，实现了高效的文本处理。

使用方法

如需使用 Gse，用户可以直接通过 Go 模块支持进行导入：

import "github.com/go-ego/gse"

或者可以通过命令行下载安装：

go get -u github.com/go-ego/gse

Gse 提供了完整的代码示例，便于用户更好地理解和应用工具。例如，可以通过以下操控编码实现基础的分词功能：

package main

import (
	_ "embed"
	"fmt"
	"github.com/go-ego/gse"
)

func main() {
	var seg gse.Segmenter
	seg.LoadDict("./testdata/test_en.txt")
	s := seg.Cut("To be or not to be, that's the question!")
	fmt.Println("seg Cut: ", s)
}