Tokenizer

概述

tokenizer 是一个纯 Go 语言包，旨在便于在 Go 中应用自然语言处理（NLP）模型的训练、测试和推理。

它深受流行的 HuggingFace Tokenizers 的启发和基础。

tokenizer 是一个雄心勃勃目标的一部分（与 transformer 和 gotch 一起），旨在为 Gopher 们带来更多 AI/深度学习工具，使他们能够坚持使用自己喜爱的语言，并在生产环境中构建更快速的软件。

功能

tokenizer 由位于子包中的模块构建而成。

1. 规范化器
2. 预分词器
3. 分词器
4. 后处理

它实现了各种分词器模型：

• 词级模型
• WordPiece 模型
• 字节对编码（BPE）

它可用于从头开始训练新模型或微调现有模型。详情请参见示例。

基本示例

此分词器包兼容加载来自 Huggingface 的预训练模型。其中一些可以使用 pretrained 子包加载。

import (
	"fmt"
	"log"

	"github.com/sugarme/tokenizer/pretrained"
)

func main() {
    // 下载并缓存预训练分词器。在这个例子中是来自 Huggingface 的 `bert-base-uncased`
    // 可以是任何带有 `tokenizer.json` 的模型。例如 `tiiuae/falcon-7b`
	configFile, err := tokenizer.CachedPath("bert-base-uncased", "tokenizer.json")
	if err != nil {
		panic(err)
	}

	tk, err := pretrained.FromFile(configFile)
	if err != nil {
		panic(err)
	}

	sentence := `The Gophers craft code using [MASK] language.`
	en, err := tk.EncodeSingle(sentence)
	if err != nil {
		log.Fatal(err)
	}

	fmt.Printf("tokens: %q\n", en.Tokens)
	fmt.Printf("offsets: %v\n", en.Offsets)

	// 输出
	// tokens: ["the" "go" "##pher" "##s" "craft" "code" "using" "[MASK]" "language" "."]
	// offsets: [[0 3] [4 6] [6 10] [10 11] [12 17] [18 22] [23 28] [29 35] [36 44] [44 45]]
}

所有模型都可以从文件手动加载。详细 API 请参见 pkg.go.dev。

入门指南

• 详细 API 请参见 pkg.go.dev

许可证

tokenizer 采用 Apache 2.0 许可证。

致谢

• 本项目受到 HuggingFace Tokenizers 的启发，并使用了其中的许多概念。