tiktoken-go

项目介绍：tiktoken-go

简介

tiktoken-go 是用于 OpenAI 模型的一个高效的 BPE（Byte Pair Encoding）分词器，实际上它是原始 tiktoken 的一个 Go 语言版本。这个项目旨在提供与原始 tiktoken 分词器相同的功能和性能，并且专门针对 Go 语言开发者设计。

安装使用

安装教程

如果您需要在项目中使用 tiktoken-go，可以通过以下命令进行安装：

go get github.com/pkoukk/tiktoken-go

缓存机制

tiktoken-go 拥有与原始 tiktoken 库相同的缓存机制。您可以通过设置环境变量 TIKTOKEN_CACHE_DIR 来指定缓存目录。在设置这个变量后，tiktoken-go 将会使用指定的目录来缓存分词字典文件。如果没有设置该变量，那么每次初始化一个编码时，系统会下载字典。

替代的 BPE 加载器

若不想使用缓存或者每次都下载字典，也可以选择使用替代的 BPE 加载器。在调用 tiktoken.GetEncoding 或 tiktoken.EncodingForModel 之前，先调用 tiktoken.SetBpeLoader 方法即可。BpeLoader 是一个接口，可以通过实现该接口自定义 BPE 加载器。

离线 BPE 加载器

离线 BPE 加载器会从嵌入文件中加载 BPE 字典，适合不希望在运行时下载字典的场合。由于 BPE 字典的体积较大，该加载器在另一个项目中提供。

示例代码

根据编码获取 Token

以下 Go 语言代码展示了如何通过编码获取文本的 Token：

package main

import (
    "fmt"
    "github.com/pkoukk/tiktoken-go"
)

func main()  {
	text := "Hello, world!"
	encoding := "cl100k_base"

	tke, err := tiktoken.GetEncoding(encoding)
	if err != nil {
		fmt.Printf("getEncoding: %v\n", err)
		return
	}

	token := tke.Encode(text, nil, nil)
	fmt.Println(token)
	fmt.Println(len(token))
}

根据模型获取 Token

还可以通过模型获取 Token，示例如下：

package main

import (
    "fmt"
    "github.com/pkoukk/tiktoken-go"
)

func main()  {
	text := "Hello, world!"
	encoding := "gpt-3.5-turbo"

	tkm, err := tiktoken.EncodingForModel(encoding)
	if err != nil {
		fmt.Printf("getEncoding: %v\n", err)
		return
	}

	token := tkm.Encode(text, nil, nil)
	fmt.Println(token)
	fmt.Println(len(token))
}

可用编码

tiktoken-go 支持多种编码方案，具体可以参考下表：

可用模型

tiktoken-go 还支持众多 OpenAI 模型，包括但不限于：

• gpt-4o-*
• gpt-3.5-turbo-*
• davinci
• curie
• 以及其他文本分析和代码搜索模型

性能测试

tiktoken-go 项目提供了一些性能基准测试，以评估与原始 tiktoken 的性能差异。初步测试结果显示两者性能几乎相同，但在特定编码如 o200k_base 上，tiktoken-go 的速度稍慢。详细的性能测试数据见项目中的测试文档。

总结来看，tiktoken-go 为 Go 开发者提供了一种高效的文本分词器选择，它不仅保持了与原始版本相似的特性，还为开发提供了灵活的分词管理方案。