Reddit · r/MachineLearning· /u/moschles·2026-10-09 04:28· 4 小时前AI 评分22

URM 与 UT 是否已被前沿模型整合，还是已被遗忘？

Have URMs and UTs been integrated into frontier models? Or did they disappear into the dustbin of forgotten papers? [D]

AI 导读

Universal Transformer（UT）通过沿深度方向的循环计算扩展标准 Transformer，以单一 transition block 反复优化 token 表示，并加入 2-D 正弦嵌入编码位置与迭代深度。