跳到正文
原文
Reddit · r/LocalLLaMA· /u/PhysicsDisastrous462·· 8 天前AI 评分57

原生 Rust + Vulkan Transformer 训练后端更新:14 种架构通过验证,完整 PEFT 支持

Follow-up: my native Rust + Vulkan Transformer training backend — 14 days later, now 14 parity-verified architectures and full PEFT

AI 导读

作者在华硕 ROG Ally Z1 Extreme(AMD RDNA 3 GPU)上验证了 14 种架构的完整训练支持,包括 DeepSeek V4、Phi-4、Kimi 系列、Qwen 系列、Mistral 等,最大两阶段 AdamW 参数误差 1.19e-7。

来源:Reddit · r/LocalLLaMA · reddit.com