TiktokenSharp：为OpenAI模型提供高效的Token计算工具

TiktokenSharp简介

TiktokenSharp是一个为OpenAI模型设计的Token计算工具，由开发者aiqinxuancai创建并维护。这个开源项目旨在解决C#生态系统中缺乏对cl100k_base编码（主要用于gpt-3.5-turbo模型）支持的问题。TiktokenSharp基于Rust官方实现，提供了编码和解码方法的基本解决方案。

目前，TiktokenSharp已经实现了对o200k_base、cl100k_base和p50k_base三种编码的支持。开发者承诺会在未来的版本中添加更多的编码支持。如果用户在使用过程中遇到任何问题或有任何疑问，都可以在项目的Issues页面提出。

主要特性

1. 多编码支持：支持o200k_base、cl100k_base和p50k_base三种编码方式，覆盖了主流OpenAI模型的需求。

2. 简单易用：提供了简洁的API，使得Token的编码和解码过程变得非常直观。

3. 高效性能：经过基准测试，TiktokenSharp在某些情况下比类似工具表现更佳。

4. 灵活配置：允许用户自定义tiktoken文件的存储路径，方便在不同环境下部署。

5. 持续更新：开发者频繁更新，不断优化算法效率并添加新功能。

使用指南

要开始使用TiktokenSharp，首先需要通过NuGet包管理器安装它。安装完成后，可以通过以下方式使用：

using TiktokenSharp;

// 使用模型名称
TikToken tikToken = TikToken.EncodingForModel("gpt-3.5-turbo");
var encoded = tikToken.Encode("hello world"); // [15339, 1917]
var decoded = tikToken.Decode(encoded); // "hello world"

// 或者直接使用编码名称
TikToken tikToken = TikToken.GetEncoding("cl100k_base");
var encoded = tikToken.Encode("hello world"); // [15339, 1917]
var decoded = tikToken.Decode(encoded); // "hello world"

值得注意的是，当首次使用新的编码器时，TiktokenSharp会从网络下载所需的tiktoken文件。这个过程可能需要一些时间，但下载成功后，后续使用就不需要再次下载了。

性能对比

为了让用户更好地了解TiktokenSharp的性能，开发者提供了与SharpToken的基准测试对比。测试环境为.NET 8.0，Debug模式下运行：

从测试结果可以看出，TiktokenSharp在处理速度上略胜一筹，但内存占用较大。这为用户在选择工具时提供了参考依据。

最新更新

TiktokenSharp一直在不断更新和改进。以下是最近几个版本的主要更新内容：

• 1.1.4 (2024-05-14): 添加对gpt-4o(o200k_base)的支持。
• 1.1.0 (2024-04-08): 大幅优化算法效率。
• 1.0.9 (2024-02-08): 增加对新OpenAI嵌入模型的支持。
• 1.0.7 (2023-10-10): 修复了某些新模型无法正确获取编码器的问题。
• 1.0.6 (2023-06-25): 用HttpClient替换WebClient，并添加异步方法。
• 1.0.5 (2023-05-08): 新增对.NET Standard 2.0的支持，使TiktokenSharp可在.NET Framework中使用。

这些更新体现了项目的活跃度，以及开发者对用户需求的积极响应。

部署注意事项

对于无法读写本地文件的云函数（如Azure App Service），用户需要将tiktoken文件（PBE Dir）与发布文件一起打包。为方便用户，项目提供了tiktoken文件的直接下载链接：

• p50k_base.tiktoken
• cl100k_base.tiktoken
• o200k_base.tiktoken

结语

TiktokenSharp为C#开发者提供了一个强大而灵活的工具，用于处理OpenAI模型的Token计算问题。无论是在开发聊天机器人、文本生成应用还是其他AI相关项目中，TiktokenSharp都能发挥重要作用。随着项目的不断更新和完善，相信它会在.NET生态系统中占据越来越重要的地位。

对于那些正在寻找可靠的Token计算解决方案的开发者来说，TiktokenSharp无疑是一个值得考虑的选择。它不仅提供了高效的性能，还具有良好的可扩展性和持续的维护支持。我们期待看到更多基于TiktokenSharp的创新应用出现，推动AI技术在.NET平台上的进一步发展。