Tokenizer

项目简介：Tokenizer

Tokenizer 项目是一个开源的项目，提供了字节对编码（Byte Pair Encoding, BPE）分词器的实现，用于支持 OpenAI 大语言模型（LLMs）。该项目基于开源的 Rust 实现，名为 OpenAI tiktoken，并提供了 TypeScript 和 C# 的实现版本。这些实现尤其适合在 Node.js 和 .NET 环境中进行提示词（prompt）分词，然后再将处理好的提示词输入到大语言模型中。

TypeScript 实现

项目中有对 TypeScript 版本实现的具体介绍。使用者可以在对应的 README 文件中获取更加详细的使用说明和指南，从而有效地在 Node.js 环境中运行分词器。

C# 实现

对于 C# 的实现，项目中特别提醒使用者，从 Microsoft.DeepDev.TokenizerLib 迁移到 Microsoft.ML.Tokenizers。这是因为 C# 的分词器功能已经整合进 Microsoft.ML.Tokenizers。这是 .NET 团队正在开发的一个分词库，未来将在.NET 9.0 发布时一同推出稳定版本。使用 Microsoft.ML.Tokenizers 将提升现有分词库的性能表现。项目中提供了迁移指南，帮助开发者顺利过渡到新的库。