大型语言模型系统论文精选

一份精心策划的大型语言模型系统相关学术论文、文章、教程、幻灯片和项目列表。为这个仓库点星，然后您就可以紧跟这个蓬勃发展的研究领域的最新进展。

大型语言模型系统

预训练

• Megatron-LM：使用模型并行性训练数十亿参数的语言模型
• 使用Megatron-LM在GPU集群上高效训练大规模语言模型
• 减少大型Transformer模型中的激活重计算
• 针对数十亿参数大型语言模型训练的优化网络架构 | 麻省理工学院
• 碳排放和大型神经网络训练 | 谷歌，加州大学伯克利分校
• Oobleck: 使用流水线模板实现大型模型分布式训练的弹性恢复 | SOSP 23
• GEMINI: 使用内存检查点实现分布式训练中的快速故障恢复
• Perseus：消除大型模型训练中的能源浪费
• MegaScale：将大型语言模型训练扩展到超过10,000个GPU | 字节跳动
• DISTMM：加速分布式多模态模型训练 | NSDI' 24
• 异构集群中大型模型训练的调度和并行化协同设计
• 具有可控内存的流水线并行 | Sea AI Lab
• 使用C4提高大规模并行训练效率：一种以通信为驱动的方法
• 突破GPU内存限制，实现大型混合专家模型训练的扩展 | ICML 24
• Lazarus：具有自适应专家放置的弹性混合专家模型训练
• 阿里巴巴HPN: 用于大型语言模型训练的数据中心网络
• FlashAttention-3: 具有异步和低精度的快速准确注意力机制
• ByteCheckpoint: 用于LLM开发的统一检查点系统
• Llama 3模型系列 (第3节)

服务

• Orca：一个用于基于Transformer的生成模型的分布式服务系统 | OSDI 22
• 响应长度感知和序列调度：一个由LLM驱动的LLM推理流水线 | 新加坡国立大学
• 高效扩展Transformer推理 | MLSys' 23
• Flover：一个用于高效自回归模型并行推理的时间融合框架
• FlashAttention：具有IO感知的快速且内存高效的精确注意力机制
• DeepSpeed推理：实现前所未有规模的Transformer模型高效推理
• TurboTransformers：一个高效的GPU服务系统，用于Transformer模型
• MPCFormer：使用MPC的快速、高性能和隐私保护的Transformer推理 | ICLR'23
• POLCA：LLM云提供商中的功率过度订阅 | 微软
• SARATHI：通过将解码与分块预填充叠加来实现高效LLM推理 | 微软
• FlexGen：使用单个GPU实现大型语言模型的高吞吐量生成推理 | ICML' 23
• AttMemo：在大内存系统上使用记忆化加速自注意力
• vLLM：使用PagedAttention实现简单、快速且经济的LLM服务 | SOSP' 23
• Tabi：一个高效的多层推理系统，用于大型语言模型 | EuroSys' 23
• Flash-LLM：利用非结构化稀疏性实现大型生成模型的高效且经济的推理 | VLDB' 24
• AutoGen：通过多智能体对话实现下一代LLM应用 | 微软
• FlashDecoding++：在GPU上更快地进行大型语言模型推理 | 清华大学
• DeepSpeed-MII：用于推理的模型实现（MII）| 微软
• Punica：多租户LoRA服务
• S-LoRA：服务数千个并发LoRA适配器
• STI：通过弹性流水线加速边缘设备上的NLP推理 | ASPLOS 23
• SpotServe：在可抢占实例上服务生成式大型语言模型 | CMU
• LLM闪电版：在有限内存下高效推理大型语言模型 | 苹果
• SuperServe： 针对不可预测工作负载的细粒度推理服务
• 大型语言模型服务的公平性 | OSDI' 24
• Infinite-LLM：使用DistAttention和分布式KVCache实现长上下文的高效LLM服务
• CaraServe：用于生成式LLM推理的CPU辅助和排序感知LoRA服务
• DistServe：分解预填充和解码以优化大型语言模型服务的吞吐量
• 无干扰推理：为混合下游工作负载分解LLM推理
• APIServe：大型语言模型推理的高效API支持
• FlexLLM：一个用于共同服务大型语言模型推理和参数高效微调的系统
• DéjàVu：用于快速、容错生成式LLM服务的KV缓存流式处理
• 优化关系工作负载中的LLM查询 | 加州大学伯克利分校
• AttentionStore： 大型语言模型服务中多轮对话的高效注意力重用 | 新加坡国立大学
• MuxServe： 灵活多路复用实现高效多LLM服务
• LoongServe： 利用弹性序列并行高效服务长上下文大型语言模型 | 北京大学
• RAGCache： 检索增强生成的高效知识缓存 | 北京大学
• Andes： 定义和增强基于LLM的文本流服务的体验质量 | 密歇根大学
• BlockLLM： 大型语言模型的多租户细粒度服务
• vAttention： 无需PagedAttention的LLM服务动态内存管理
• Helix： 通过异构GPU上的最大流实现大型语言模型的分布式服务 | CMU
• Eloquent：LLM令牌流式传输的更强大传输方案 | NAIC '24
• 使用吞吐量优化大型语言模型服务的投机解码 | 加州大学伯克利分校
• 使用MultiWorld实现弹性模型服务 | 思科研究院
• ALTO：复合AI系统的高效网络编排器 | 斯坦福大学 & 加州大学伯克利分校
• 预打包：大型语言模型快速预填充和提高吞吐量的简单方法

微调系统

• Ymir： 数据中心基础模型微调工作负载的调度器 | ICS' 24

多模型系统

• MOSEL：使用动态模态选择的推理服务
• DISTMM：加速分布式多模态模型训练 | NSDI' 24
• 高效服务扩散模型的近似缓存 | Adobe研究院
• DistriFusion： 高分辨率扩散模型的分布式并行推理 | MIT
• Optimus： 通过气泡利用加速大规模多模态LLM训练
• 解决多模态大型语言模型训练中的模型和数据异质性

系统中的LLM应用

• 大型语言模型在编译器优化中的应用
• 程序分析漫游指南：大型语言模型之旅
• LLM辅助代码清理以训练精确的代码生成器 | 加州大学伯克利分校

系统效率优化

• 大型语言模型的快速分布式推理服务 | 北京大学
• FrugalGPT：如何在降低成本和提高性能的同时使用大型语言模型 | 斯坦福大学
• H2O：用于大型语言模型高效生成推理的重要项预测器 | ICML ES-FoMo 研讨会 2023
• 参考推理：大型语言模型的无损加速
• SkipDecode：使用批处理和缓存进行高效LLM推理的自回归跳跃解码
• Scissorhands：在测试时利用重要性假设持久性进行LLM KV缓存压缩
• 无需重新训练的预训练语言模型知识保留剪枝 | 首尔国立大学
• 通过分段推测解码加速LLM推理 | ICML' 23
• SpecInfer：利用推测推理和令牌树验证加速生成式LLM服务 | 卡内基梅隆大学
• Deja Vu：推理时LLM的上下文稀疏性提高效率 | ICML' 23
• S3：在生成推理过程中提高GPU利用率以获得更高吞吐量 | 哈佛大学
• LLMCad：快速且可扩展的设备端大型语言模型推理
• 思维骨架：大型语言模型可以进行并行解码 | 清华大学
• LoRAShear：高效大型语言模型结构化剪枝和知识恢复 | 微软
• 环形注意力与块状变换器实现近乎无限的上下文 | 加州大学伯克利分校
• 学习型最佳努力LLM服务 | 加州大学伯克利分校

机器学习系统

• INFaaS：自动化无模型推理服务 | ATC' 21
• Alpa：自动化分布式深度学习的算子内和算子间并行 | OSDI' 22
• Pathways：用于机器学习的异步分布式数据流 | MLSys' 22
• AlpaServe：深度学习服务中模型并行的统计复用
• DeepSpeed-MoE：推进专家混合推理和训练以支持下一代AI规模 ICML' 2022
• ZeRO-Offload：普及十亿规模模型训练
• ZeRO-Infinity：突破GPU内存墙以实现极端规模深度学习
• ZeRO：面向万亿参数模型训练的内存优化
• Band：异构移动处理器上协调多DNN推理 | MobiSys '22
• 使用时空共享在多GPU服务器上服务异构机器学习模型 | ATC'22
• 使用直接主机访问的多GPU快速高效模型服务 | Eurosys'23
• Cocktail：云端模型服务的多维优化 | NSDI'22
• Merak：一种高效的分布式DNN训练框架，用于巨型基础模型的自动3D并行
• SHEPHERD：在野外服务DNN
• 深度学习中N:M稀疏权重的高效GPU内核
• AutoScratch：面向推理的GPU的ML优化缓存管理
• ZeRO++：巨型模型训练的极其高效集体通信
• N:M稀疏性的通道置换 | MLSys' 23
• Welder：通过图块图调度深度学习内存访问 | OSDI' 23
• 使用Brainstorm优化动态神经网络 | OSDI'23
• ModelKeeper：通过自动化训练预热加速DNN训练 | NSDI'23
• 广度优先流水线并行 | MLSys' 23
• MGG：通过多GPU平台上的细粒度内核内通信-计算流水线加速图神经网络 | OSDI' 23
• Hydro：数据中心中基于代理的超参数调优服务 | OSDI' 23
• Cocktailer：分析和优化深度学习中的动态控制流 | OSDI' 23
• BPipe：训练大型语言模型的内存平衡流水线并行

综述论文

• 高效大型语言模型：一项调查
• 大型语言模型的挑战和应用
• 超越效率：资源高效大型语言模型的系统性调查
• 走向高效生成式大型语言模型服务：从算法到系统的调查

LLM 基准测试 / 排行榜 ? 踪迹

• LLM 能耗排行榜 | 密歇根大学
• LLM-Perf 性能排行榜 | HuggingFace
• Aviary 探索器 | Anyscale
• 开放 LLM 排行榜 | HuggingFace
• HELM | 斯坦福大学
• LMSYS | 加州大学伯克利分校
• 高效可靠的 LLM 服务：真实世界工作负载研究

LLM 框架

• AutoGen：实现下一代大型语言模型应用 | 微软
• DeepSpeed：一个深度学习优化库，使分布式训练和推理变得简单、高效和有效 | 微软
• TensorRT-LLM | 英伟达
• Accelerate | Hugging Face
• vLLM | 加州大学伯克利分校
• Ray-LLM | Ray

相关机器学习阅读材料

• 大型 Transformer 模型推理优化
• Transformer 推理算术
• Transformer 家族 2.0 版本
• Transformer 推理的全栈优化：一项调查 | 加州大学伯克利分校

机器学习系统课程

• 机器学习系统 | 斯坦福大学
• 生成式 AI 系统 | 密歇根大学
• AI 系统 - LLMs | 佐治亚理工学院

其他阅读材料

• 大型语言模型精选列表
• AI 系统论文列表
• 神经网络训练自动并行化的基线仓库
• 每个 LLM 开发者都应该知道的数字
• 10 万台 H100 集群： 电力、网络拓扑、以太网 vs InfiniBand、可靠性、故障、检查点