JSSA 稀疏注意力提升长上下文解码效率

2026年10月29日，Reddit r/LocalLLaMA 出现一篇论文介绍，提出 Joint Subspace Sparse Attention（JSSA），目标是提升长上下文解码效率。报道称，该方法通过学习共享的低维 query-key 子空间，改善 token 级选择的排序质量，并配套一个无需 gather 的 token 级索引注意力 kernel，可在 GQA KV-cache 布局下支持每个 KV head 独立选择。目前公开信息仅来自这一篇报道，尚无后续实验数据、对比结果或复现情况的披露，事件仍处于论文方法介绍阶段。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。