Reddit · r/MachineLearning· /u/CategoryNormal149·2026-11-07 03:10· 2 小时前AI 评分58

Google Research 提出 Muir 线性注意力：25MB 状态处理 1000 万 token

Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout (Google Research, 10M tokens in 25MB state) [R]

AI 导读

Google Research 的论文提出 Muir 线性注意力架构，用匹配滤波读出、门控融合和数值稳定的分块并行 kernel 解决通道门控 delta 模型的三个瓶颈，在 25MB 固定状态中流式处理 1000 万 token 且困惑度不漂移。