线性映射、MLP 与自注意力被重新解读为联想记忆存储

该事件围绕一篇关于 Transformer 组件的理论解读文章。文章把线性映射、MLP 和自注意力统一视为不同类型的联想记忆存储，并以“干扰-信号比”作为衡量回忆质量的指标。在 64 维 key 的设定下，文章给出的容量估算依次为：线性层约 64 条记忆，MLP 提升到约 2,700 条，而自注意力则可超过一百万条，且仍能保持良好的检索效果。文章进一步解释，传统外积存储在记忆条数 M 超过 key 维度 d_k 后，干扰会淹没目标记忆；自注意力则借助更强的非线性查询机制显著抑制干扰，从而获得近乎无界的高质量记忆容量。该文于 2026 年 10 月 17 日出现在 Hacker News 首页，引发讨论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。