跳到正文
原文
Reddit · r/LocalLLaMA· /u/OtherRaisin3426·· 5 天前AI 评分58

作者在单张 B200 上端到端复现 GPT 的 4-bit 前向训练

Thinking Machines 4-bit replication: I trained a GPT end to end with a 4-bit forward pass on one B200

AI 导读

作者在 Modal 的 1 张 B200 上用 PyTorch 2.8 和调用 cuBLASLt NVFP4/FP8 matmul 的 CUDA 库,对 219M、840M、3.3B 三个规模的 GPT 做了 4-bit 前向、FP8 反向的端到端训练复现。

来源:Reddit · r/LocalLLaMA · reddit.com