torchscale

TorchScale 项目介绍

TorchScale 是一个专注于 Transformer 模型的大规模扩展和优化的 PyTorch 库，旨在帮助研究者和开发者有效地提升 Transformer 模型的规模和性能。该库由多种基础架构组成，支持大模型的开发稳定性、通用性以及训练效率。

项目背景

Transformer 模型在自然语言处理、计算机视觉以及其他领域的广泛应用带来了计算和扩展上的挑战。为此，TorchScale 提供了几种先进的架构和方法：

• 稳定性：通过 DeepNet 架构实现可扩展至 1000 层及以上的 Transformer 模型，增强训练稳定性。
• 通用性：Foundation Transformers（Magneto）实现跨语言、视觉、语音及多模态任务的通用建模。
• 能力提升：具备长度外推能力的 Transformer。
• 效率：X-MoE 结构实现对稀疏专家模型的可扩展性和微调能力。

###模型架构的革新

TorchScale 引入了多个具有革命性的模型架构：

• BitNet：专为大规模语言模型设计的 1-bit Transformer。
• RetNet：大规模语言模型的 Transformer 后继者。
• LongNet：可处理十亿级别标记的 Transformer。

最新动态

• 2023年12月：发布 LongNet 和 LongViT。
• 2023年10月：RetNet 更新了 RMSNorm 和 SwiGLU 作为默认模块。
• 2022年11月：发布了 TorchScale 0.1.1 版本。

安装说明

用户可以使用 pip 方便地安装 TorchScale：

pip install torchscale

另外，也支持在本地进行开发：

git clone https://github.com/microsoft/torchscale.git
cd torchscale
pip install -e .

为了加快训练，可以为兼容的 GPU 安装 Flash Attention 或 xFormers：

pip install flash-attn
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu118 # 对应 CUDA 11.8
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121 # 对应 CUDA 12.1

快速入门

TorchScale 使得创建模型非常简便，通过几行代码便可启用各项关键功能：

创建一个类似 BERT 的编码器模型：

from torchscale.architecture.config import EncoderConfig
from torchscale.architecture.encoder import Encoder

config = EncoderConfig(vocab_size=64000)
model = Encoder(config)

print(model)

同样支持解码器和编码解码器架构的创建。

核心特性

• DeepNorm 提升后置层归一化 Transformer 的训练稳定性。
• SubLN 提供了模型的通用性与训练稳定性。
• X-MoE 支持高效且可微调的稀疏专家模型。
• 多路架构支持多模态。
• Xpos 和相对位置偏置支持位置嵌入的灵活性。
• SparseClip 提升了稀疏专家模型的梯度裁剪效果。

示例应用

TorchScale 提供了多种场景下的应用实例：

• 语言处理：GPT 解码器、神经机器翻译（Encoder-Decoder）、BERT 编码器。
• 视觉：LongViT 和 ViT/BEiT（开发中）。
• 语音处理
• 多模态应用：Multiway Transformers 和 BEiT-3。

贡献与反馈

TorchScale 欢迎开发者的贡献和建议。项目采用 Microsoft 开源行为准则。

商标声明

项目可能包含微软或其他第三方的商标和标识，使用应遵循相关的品牌指南。

TorchScale 为研究者和开发者提供了强大的工具支持，以应对大规模模型训练带来的挑战，并促进大模型在实际应用中的落地。