Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分28
FlashMask-3:高效且表达力强的掩码感知分布式 Attention
[Paper] FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
AI 导读
FlashMask-3 为 Hopper GPU 引入三角色 warp 特化与掩码感知分布式扩展,将多类结构化掩码从 O(n2) 压缩至 O(n)。在单张 H100 上,覆盖 12 类掩码和 4K–128K 上下文时,相比 FlashMask、FlexAttention 和 MagiAttention 提升 45–141%、34–71% 和 2–44%。
来源:Reddit · r/LocalLLaMA · reddit.com