Attention Is Not What You Need：基于 Grassmann 流的免注意力架构探索

研究团队提出基于 Grassmann flows 的免注意力架构，用 Causal Grassmann 层替代显式自注意力，并通过低秩子空间的多尺度局部变形传递信息。仅含 13 至 18 million 参数的模型在 Wikitext-2 上达到同规模 Transformer 验证困惑度的约 10% 至 15% 范围内，SNLI 最佳验证与测试准确率分别为 0.8550 和 0.8538。