新稀疏注意力方法：Qwen 3.8 27B 稀疏化后精度无明显损失，上下文可扩至 10M token

研究团队提出一种新的稀疏注意力方法，称可在 Qwen 3.8 27B 上稀疏化注意力而不观察到精度损失。将上下文扩展到 10M token 时，部分特定任务精度下降，但 NIAH 等多数任务仍正常；仅用下一 token 预测损失即可原生训练稀疏注意力，验证损失与全注意力相当但速度更快。