Reddit · r/artificial· /u/Sparticle62·· 8 天前AI 评分65
PSSA:一种新型状态空间模型在参数匹配条件下超越 Transformer
PSSA, a plastic state space model, beats a parameter-matched transformer on held-out text and generates ~12x faster on CPU
AI 导读
研究者从头构建了 PSSA(Plastic State Space Architecture)架构,并在相同语料、相同 12.7M tokens、相同分词器和训练计划下与参数匹配的 Transformer 基线对比。
来源:Reddit · r/artificial · reddit.com