开源稀疏注意力方法支持超长上下文

2026年11月3日，Reddit r/LocalLLaMA 论坛出现一则关于新稀疏注意力方法的报道。研究团队称，该方法可在 Qwen 3.8 27B 模型上对注意力进行稀疏化，而未观察到精度损失；将上下文扩展至 10M token 时，部分特定任务精度下降，但 NIAH 等多数任务仍正常。团队还称，仅用下一 token 预测损失即可原生训练稀疏注意力，验证损失与全注意力相当但速度更快。目前该消息仅来自论坛帖，尚无独立复现或同行评议信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。