Reddit · r/LocalLLaMA· /u/pmttyji·· 1 天前AI 评分42
JSSA:面向高效长上下文解码的联合子空间稀疏注意力
[Paper] Joint Subspace Sparse Attention for Efficient Long-Context Decoding
AI 导读
论文提出 Joint Subspace Sparse Attention(JSSA),通过学习共享低维 query-key 子空间提升 token 级选择的排序质量,并配套无 gather 的 token 级索引注意力 kernel,支持 GQA KV-cache 布局下每个 KV head 独立选择。
来源:Reddit · r/LocalLLaMA · reddit.com