Transformer 调试器

Transformer 调试器 (TDB) 是由 OpenAI 的超级对齐团队开发的工具，旨在支持对小型语言模型特定行为的调查。该工具结合了自动可解释性技术和稀疏自编码器。

TDB 能够在需要编写代码之前进行快速探索，可以干预前向传播过程并观察其对特定行为的影响。它可以用来回答诸如"为什么模型对这个提示输出标记 A 而不是标记 B？"或"为什么注意力头 H 对这个提示中的标记 T 给予注意？"等问题。它通过识别对行为有贡献的特定组件（神经元、注意力头、自编码器潜变量），展示这些组件最强激活原因的自动生成解释，并追踪组件之间的连接以帮助发现电路。

这些视频概述了 TDB 并展示了如何使用它来调查 GPT-2 small 中的间接宾语识别：

发布内容包括什么？

神经元查看器：一个 React 应用，承载 TDB 以及包含单个模型组件（MLP 神经元、注意力头和两者的自编码器潜变量）信息的页面。
激活服务器：一个后端服务器，对目标模型进行推理以为 TDB 提供数据。它还从公共 Azure 存储桶读取和提供数据。
模型：一个简单的 GPT-2 模型及其自编码器的推理库，带有获取激活的钩子。
整理后的激活数据集：MLP 神经元、注意力头和自编码器潜变量的最高激活数据集示例。

设置

按照以下步骤安装仓库。首先你需要安装 python/pip 以及 node/npm。

虽然是可选的，但我们建议你使用虚拟环境或类似工具：

# 如果你已经在一个虚拟环境中，请先退出。
deactivate
# 创建一个新的虚拟环境。
python -m venv ~/.virtualenvs/transformer-debugger
# 激活新的虚拟环境。
source ~/.virtualenvs/transformer-debugger/bin/activate

一旦你的环境设置好了，请按以下步骤操作：

git clone git@github.com:openai/transformer-debugger.git
cd transformer-debugger

# 安装 neuron_explainer
pip install -e .

# 设置预提交钩子。
pre-commit install

# 安装 neuron_viewer。
cd neuron_viewer
npm install
cd ..

要运行 TDB 应用，你还需要按照说明设置激活服务器后端和神经元查看器前端。

进行更改

要验证更改：

运行 pytest
运行 mypy --config=mypy.ini .
运行激活服务器和神经元查看器，确认 TDB 和神经元查看器页面等基本功能仍然正常工作

链接

术语

如何引用

请按以下方式引用：

Mossing, et al., "Transformer Debugger", GitHub, 2024.

BibTex 引用：

@misc{mossing2024tdb,
  title={Transformer Debugger},
  author={Mossing, Dan and Bills, Steven and Tillman, Henk and Dupré la Tour, Tom and Cammarata, Nick and Gao, Leo and Achiam, Joshua and Yeh, Catherine and Leike, Jan and Wu, Jeff and Saunders, William},
  year={2024},
  publisher={GitHub},
  howpublished={\url{https://github.com/openai/transformer-debugger}},
}