如何仅凭记忆推导出 Transformer：线性映射、MLP 与自注意力作为联想记忆存储

文章把线性映射、MLP 和自注意力统一看作不同类型的联想记忆存储，用"干扰-信号比"来衡量回忆质量。在 64 维 key 的设定下，存储容量从线性层约 64 条记忆，经 MLP 提升到约 2,700 条，再到自注意力可超过一百万条，并能保持良好的检索效果。作者指出，外积存储在 M > d_k 后干扰将淹没目标记忆，而自注意力通过更强的非线性查询机制显著抑制干扰，从而获得近乎无界的高质量记忆容量。