Reddit · r/MachineLearning· /u/Alarming-Emotion-894·2026-10-09 21:29· 3 小时前AI 评分11

ALHR：一种基于树结构的稀疏注意力机制，可实现 sub-quadratic 推理

I built ALHR: A tree based sparse attention system that achieves sub-quadratic inference while retaining accuracy. [P]

AI 导读

作者提出 ALHR（Adaptive Learnable Hierarchical Routing），通过静态二叉树与可学习函数减少注意力键的读取量，实现 sub-quadratic 推理。