WebGPT

WebGPT 项目介绍

WebGPT 是一个基于 JavaScript 和 HTML 的变压器模型实现，作为一个概念验证项目，同时也为学习者提供了一种入门的资源。经过六年的开发，WebGPU 即将在大多数主流浏览器上推出，这意味着网页应用程序现在可以几乎原生地访问GPU，并具备计算着色器的能力。WebGPT 正是利用这样一个强大的工具来实现神经网络模型的运行。

项目背景和目标

WebGPT 的设计目的是展示如何在浏览器中轻松运行大型语言模型，并为开发者或学习者提供一个实践的范例。通过 WebGPU 的支持，WebGPT 能够处理多达5亿参数的模型，并且经过进一步的优化，可能支持更大的模型。

产品运行情况

在苹果2020年发布的M1 Mac上，WebGPT以不同参数模型的性能如下：

• 5M参数模型：每个token生成时间为3毫秒，使用f32精度。
• 117M参数模型：每个token生成时间为30毫秒，使用f32精度。
• 377M参数模型：每个token生成时间为70毫秒，使用f32精度。
• 775M参数模型：每个token生成时间为120毫秒，使用f32精度。

1.5B参数模型虽然已能运行，但由于效率问题，每个token生成时间达到1000毫秒，因此稳定性欠佳。

如何运行 WebGPT

运行 WebGPT 非常简单，因为它只是 一组 HTML 和 JS 文件。由于 WebGPU 还在发布过程中，用户需要使用兼容的浏览器来打开这些文件。当前 WebGPU 已在 Chrome v113 上可用，但为确保功能正常，建议使用 Chrome Canary 或 Edge Canary。

WebGPT 提供了两种不同的模型：一个是学习性较低的 GPT-Shakespeare 模型，另一个是 GPT-2 的117M版本。用户可以通过 main.js 文件了解如何运行这些模型。若想导入自定义模型，可以参考 misc/conversion_scripts 中的指导。

为了更直接体验 WebGPT，可以访问演示网站 KMeans.org。不过，推荐用户克隆项目代码并在本地运行，因为远程加载权重文件的速度明显更慢。需要注意的是，克隆代码库后，用户需要使用 Git LFS 下载模型文件。

发展路线图

WebGPT 的开发过程中有几个优化计划已完成：

• 在 GPU 上处理嵌入和去嵌入。
• 改善管道每一步初始化的低效问题。
• 键值缓存的实现。
• 重用缓存。
• 矩阵乘法的内核共享内存。
• 使用后自动销毁缓存。
• 创建内核指令类以优化管道创建。 -内核的融合与优化。
• 对较大模型的计算进行拆分。

需要改进的部分包括：

• 在 GPU 上运行选择操作（如 topk, 选择性 softmax）。
• 针对大模型的优化，尤其是在每个注意力头各自进行矩阵乘法时。
• 查明为什么注意力缓存没有提供预期的速度提升。
• 制作一个简单无特殊状态的教程版本。
• 优化工作组大小，特别是针对单行/列操作。
• 将项目转换为包。
• 撰写更好的注释并提供相关视频解释。

致谢

项目的开始，作者对变压器模型、GPU、矩阵乘法内核、WebGPU 或分词都没有深入了解，因此特别感谢 Andrej Karpathy 的神经网络和从零构建 GPT 的系列教程：Andrej的Youtube。此外，作者也从 nanoGPT 的代码库中借用了部分代码：nanoGPT。

在实现 OpenAI 的 GPT-3 分词器时，参考了 LatitudeGames 基于 JavaScript 的实现：GPT-3-Encoder。