Transformer、RNN 与 SSM 的记忆机制对比：从循环状态、KV cache 到类突触连接

作者从"工作记忆"视角比较了 RNN、Transformer 与 SSM 三类架构的记忆承载方式：RNN 将记忆压缩为逐步传递的循环隐藏状态，参数规模约 O(N²) 而状态仅 O(N)；Transformer 在推理时冻结权重，以不断增长的 KV cache 保存历史键值，更像便利贴式的外部上下文；SSM（如 Mamba）回到定长循环状态，并通过输入依赖机制决定遗忘。