Reddit · r/MachineLearning· /u/BitExternal4608·2026-09-29 13:16· 9 天前AI 评分44

CoWindow and MassAlloc Attention：集体因果覆盖与分布自适应计算

CoWindow and MassAlloc Attention: collective causal coverage and distribution-adaptive compute [R]

AI 导读

两位研究者提出两种注意力冗余计算优化方法。CoWindow Attention（CoWA）通过互补窗口让各头稀疏 attend，128K tokens 在 8 H100 GPU 上实现 Forward 7.4×。