跳到正文
热点事件持续更新

FlashMask-3提升长上下文注意力效率

1 篇报道1 个报道来源2 小时前更新

先了解这件事

报道摘要

FlashMask-3 为 Hopper GPU 引入三角色 warp 特化与掩码感知分布式扩展，将多类结构化掩码从 O(n2) 压缩至 O(n)。在单张 H100 上，覆盖 12 类掩码和 4K–128K 上下文时，相比 FlashMask、FlexAttention 和 MagiAttention 提升 45–141%、34–71% 和 2–44%。

摘自 Reddit · r/LocalLLaMA

报道时间线

沿着报道，了解事件的不同侧面。

10月20日
  1. Reddit · r/LocalLLaMA
    FlashMask-3：高效且表达力强的掩码感知分布式 Attention

    FlashMask-3 为 Hopper GPU 引入三角色 warp 特化与掩码感知分布式扩展，将多类结构化掩码从 O(n2) 压缩至 O(n)。在单张 H100 上，覆盖 12 类掩码和 4K–128K 上下文时，相比 FlashMask、FlexAttention 和 MagiAttention 提升 45–141%、34–71% 和 2–44%。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。