gpt3-tokenizer

GPT3 Tokenizer 项目介绍

项目概述

GPT3 Tokenizer 是一个为 OpenAI 的 GPT-3 模型设计的同构 TypeScript 分词器。它不仅支持 gpt3 的分词，还支持 codex 的分词方式。这个工具可以在 NodeJS 和浏览器环境中使用，为开发者提供便利的分词功能。

如何使用

要使用 GPT3 Tokenizer，首先需要安装此库。可以通过以下命令安装：

yarn add gpt3-tokenizer

安装完成后，可以在代码中这样使用：

import GPT3Tokenizer from 'gpt3-tokenizer';

const tokenizer = new GPT3Tokenizer({ type: 'gpt3' }); // 也可以选择 'codex'
const str = "hello 👋 world 🌍";
const encoded: { bpe: number[]; text: string[] } = tokenizer.encode(str);
const decoded = tokenizer.decode(encoded.bpe);

在这个示例中，首先实例化了一个选择 gpt3 的分词器，然后对字符串进行编码，得到 BPE（字节对编码）的结果。最后，可以用得到的 BPE 结果进行解码。

项目参考

GPT3 Tokenizer 库是基于以下资源开发的：

• [OpenAI Tokenizer Page Source]：获取分词相关定义和规则
• [gpt-3-encoder]：这是一个类似的分词器项目

GPT3 Tokenizer 与 gpt-3-encoder 的主要区别在于，GPT3 Tokenizer 支持 gpt3 和 codex 两种分词方式，其分词的词典直接来源于 OpenAI，确保了结果与 OpenAI Playground 上的表现一致。此外，GPT3 Tokenizer 使用了 Map API 代替 JavaScript 对象特别是 bpeRanks 对象，这在性能上带来了一些提升。

授权许可

该项目采用 MIT 许可协议，意味着它是开放源代码的，用户可以自由地使用、修改和分发。

通过这些信息可以看出，GPT3 Tokenizer 是一个高效且灵活的分词工具，适合需要与 OpenAI 的 GPT-3 模型进行交互的开发者。它不仅在 NodeJS 环境中表现出色，在浏览器环境下同样可以轻松应用。