跳到正文
原文
Reddit · r/artificial· /u/Sparticle62·· 8 天前AI 评分65

PSSA:一种新型状态空间模型在参数匹配条件下超越 Transformer

PSSA, a plastic state space model, beats a parameter-matched transformer on held-out text and generates ~12x faster on CPU

AI 导读

研究者从头构建了 PSSA(Plastic State Space Architecture)架构,并在相同语料、相同 12.7M tokens、相同分词器和训练计划下与参数匹配的 Transformer 基线对比。

来源:Reddit · r/artificial · reddit.com