跳到正文
原文
Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分28

FlashMask-3:高效且表达力强的掩码感知分布式 Attention

[Paper] FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention

AI 导读

FlashMask-3 为 Hopper GPU 引入三角色 warp 特化与掩码感知分布式扩展,将多类结构化掩码从 O(n2) 压缩至 O(n)。在单张 H100 上,覆盖 12 类掩码和 4K–128K 上下文时,相比 FlashMask、FlexAttention 和 MagiAttention 提升 45–141%、34–71% 和 2–44%。

来源:Reddit · r/LocalLLaMA · reddit.com