社区发布基于树的稀疏注意力系统ALHR

2026年10月9日，Reddit r/MachineLearning 发布了一篇关于 ALHR 的介绍。ALHR 全称为 Adaptive Learnable Hierarchical Routing，是一种基于树结构的稀疏注意力机制。作者通过构建静态二叉树并结合可学习函数来减少注意力计算中需要读取的键（key）数量，从而实现低于二次方复杂度的推理。这一方法旨在降低 Transformer 注意力机制的算力开销。当前仅有该篇介绍性发布，尚无更多关于实验结果、对比数据或后续进展的报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。