LongNet

LongNet 项目介绍

LongNet 是一种新的 Transformer 变体，旨在将序列长度扩展到超过 10 亿个标记，同时不牺牲在较短序列上的性能。这项开源项目的目标是解决大规模语言模型时代中序列长度扩展的瓶颈问题。现有方法要么在计算复杂性方面存在困难，要么在模型表现力方面受限，导致最大序列长度受到限制。而 LongNet 的出现为这一领域带来了全新的可能性。

项目背景

LongNet 是通过引入扩张注意力（dilated attention）来实现的，它随着距离的增长以指数级别扩展关注领域。扩张注意力机制可以直接替换标准注意力机制，与现有基于 Transformer 的优化方法无缝结合。其特点是线性计算复杂度和令牌之间的对数依赖性，使其能够作为分布式训练器，适用于极长序列。

项目特点

计算复杂度线性：LongNet 具备线性计算复杂度，这意味着即便在处理超长序列时，也能保持较低的计算资源占用。
轻量化分布式训练：在处理极长序列时，LongNet 可以作为分布式训练器使用，为语言模型提供强大的支持。
扩展性强：扩张注意力机制能够作为标注注意力的替代方案，与现有技术轻松兼容。

使用方法

要开始使用 LongNet，只需安装相关库包并构建模型。例如：

import torch
from long_net import DilatedAttention

# 模型配置
dim = 512
heads = 8
dilation_rate = 2
segment_size = 64

# 输入数据
batch_size = 32
seq_len = 8192

# 创建模型和数据
model = DilatedAttention(dim, heads, dilation_rate, segment_size, qk_norm=True)
x = torch.randn((batch_size, seq_len, dim))

output = model(x)
print(output)