讲座补充材料

discord.gg/cudamode PMPP书籍：大规模并行处理器编程：实践方法（亚马逊链接） YouTube频道

讲座1：在PyTorch中分析和集成CUDA内核

• 视频
• 日期：2024年1月13日，演讲者：Mark Saroufim
• 笔记本和幻灯片在lecture_001文件夹中

讲座2：复习PMPP书籍第1-3章

• 视频
• 日期：2024年1月20日，演讲者：Andreas Koepf
• 幻灯片：PowerPoint文件lecture_002/cuda_mode_lecture2.pptx可在此仓库的根目录找到。或者在这里查看Google文档演示。

讲座3：CUDA入门

• 视频
• 日期：2024年1月27日，演讲者：Jeremy Howard
• 笔记本：查看lecture_003文件夹，或运行Colab版本

讲座4：计算和内存架构简介

• 视频
• 日期：2024年2月3日，演讲者：Thomas Viehmann
• 笔记本和幻灯片在lecture_004文件夹中。

讲座5：Python程序员深入CUDA

• 视频
• 日期：2024年2月10日，演讲者：Jeremy Howard
• 笔记本在lecture_005文件夹中。

讲座6：优化PyTorch优化器

• 视频
• 日期：2024年2月17日，演讲者：Jane Xu
• 幻灯片

讲座7：高级量化

• 视频
• 日期：2024年2月25日，演讲者：Charles Hernandez
• 幻灯片

讲座8：CUDA性能检查清单

• 视频
• 日期：2024年3月9日，演讲者：Mark Saroufim
• 代码在lecture_008文件夹中
• 幻灯片

讲座9：规约

• 视频
• 日期：2024年3月9日，演讲者：Mark Saroufim
• 代码在lecture_009文件夹中
• 幻灯片

第10讲：构建生产就绪的CUDA库

• 视频
• 日期：2024年3月16日，演讲者：Oscar Amoros Huguet
• 幻灯片

第11讲：稀疏性

• 视频
• 日期：2024年3月23日，演讲者：Jesse Cai
• 幻灯片

第12讲：Flash Attention

• 视频
• 日期：2024年3月30日，演讲者：Thomas Viehmann

第13讲：环形注意力

• 视频
• 日期：2024年4月6日，演讲者：Andreas Koepf
• 幻灯片

第14讲：Triton实践指南

• 视频
• 日期：2024年4月13日，演讲者：Umer Adil
• 笔记本

第15讲：CUTLASS

• 日期：2024年4月20日，演讲者：Eric Auld

第16讲：实践性能分析

• 日期：2024年4月27日，演讲者：Taylor Robbie

附加讲座：CUDA C++ llm.cpp

• 日期：2024年4月27日，演讲者：Jake Hemstad & Georgii Evtushenko
• 幻灯片

第17讲：GPU集体通信（NCCL）

• 日期：2024年5月4日，演讲者：Dan Johnson
• 代码在lecture_017文件夹中

第18讲：融合内核

• 日期：2024年5月11日，演讲者：Kapil Sharma
• 代码在lecture_018文件夹中

第19讲：GPU上的数据处理

• 日期：2024年5月18日，演讲者：Devavret Makkar

第20讲：扫描算法

• 日期：2024年5月25日，演讲者：Izzat El Haj
• 幻灯片

第21讲：扫描算法第2部分

• 日期：2024年5月31日，演讲者：Izzat El Haj
• 幻灯片

第22讲：VLLM中推测解码的黑客指南

• 日期：2024年6月1日，演讲者：Cade Daniel
• 幻灯片

第23讲：张量核心

• 日期：2024年6月7日，演讲者：Vijay Thakkar & Pradeep Ramani
• 幻灯片

第24讲：光速扫描

• 日期：2024年6月8日，演讲者：Jake Hemstad & Georgii Evtushenko
• 幻灯片