llama-tokenizer-js 学习资料汇总 - 浏览器端LLaMA模型JavaScript分词器

llama-tokenizer-js简介

llama-tokenizer-js是一个用于LLaMA模型的JavaScript分词器,可在浏览器端和Node.js环境中运行。它的主要用途是在客户端准确计算token数量,具有以下特点:

• 易于使用:零依赖,代码和数据集成在单个文件中
• 兼容大多数LLaMA模型
• 运行时间优化,使用高效的BPE实现
• 打包大小优化:在压缩前仅670KiB

该项目由belladore.ai开发,是首个可在浏览器端运行的LLaMA JavaScript分词器。

安装与使用

安装

通过npm安装:

npm install llama-tokenizer-js

基本用法

import llamaTokenizer from 'llama-tokenizer-js'

// 编码
console.log(llamaTokenizer.encode("Hello world!"))
// 输出: [1, 15043, 3186, 29991]

// 解码  
console.log(llamaTokenizer.decode([1, 15043, 3186, 29991]))
// 输出: 'Hello world!'

更多使用示例和API文档,请参考官方README。

在线演示

要快速体验llama-tokenizer-js的功能,可以访问在线演示页面。在这里您可以输入文本,实时查看分词结果。

兼容性

llama-tokenizer-js兼容以下LLaMA模型:

• 所有基于Facebook在2023年3月("LLaMA")和2023年7月("LLaMA2")发布的模型权重训练的LLaMA模型
• 例如:llama2-13b-4bit-gptq, wizard-vicuna-13b-uncensored-gptq, manticore-7b-ggml等

不兼容从头训练的LLaMA模型,如OpenLLaMA。

详细的兼容性信息请查看官方文档。

相关资源

• GitHub仓库 - 项目源码和文档
• npm包 - npm安装页面
• 在线演示 - 交互式分词器演示
• LLaMA 3分词器 - 用于LLaMA 3模型的分词器

总结

llama-tokenizer-js为JavaScript开发者提供了一个强大的工具,可以在浏览器端高效地处理LLaMA模型的分词任务。无论您是在开发基于LLaMA的Web应用,还是需要在客户端进行token计数,llama-tokenizer-js都是一个值得尝试的解决方案。通过本文提供的资源,相信您可以快速上手并充分利用这个优秀的开源项目。