Hacker News · 首页· E-Reverance·2026-10-06 05:15· 2 天前AI 评分62

Dust：在不依赖反向传播的情况下预训练 Transformer

Dust: Pretraining Transformers Without Backpropagation

AI 导读

qLabs 提出 Dust，一种在激活空间（每个 token 独立扰动）做零阶优化的 transformer 预训练方法，无需反向传播。

来源：Hacker News · 首页 · qlabs.sh