Reddit · r/MachineLearning· /u/Winter_Mistake_3185·· 4 小时前AI 评分33
44 课时免费 GPU 内核工程系列：从朴素 GEMM 到 FlashAttention，覆盖 H100 与 Blackwell 全开源
Open GPU kernel engineering series: naive GEMM to FlashAttention, H100 and Blackwell (44 sessions, code public) [P]
AI 导读
一名开发者正在自制一套免费的 GPU 内核工程系列教程，核心主线是从朴素 GEMM 一路写到 FlashAttention，并覆盖 H100 与 Blackwell 架构。全系列 44 课时目前已在发布中，包含视频讲解与配套公开代码，前置要求为 C/C++、基础线性代数和 PyTorch。教程以 roofline model 作为贯穿性框架，强调内核性能首先是一个数据搬运问题，再是计算问题。
来源：Reddit · r/MachineLearning · reddit.com