Reddit · r/LocalLLaMA· /u/Oswald_Hydrabot·· 2 小时前AI 评分13
网友在 Jetson AGX Thor 上以 0.646 t/s 跑通 ~566GB 的 MiMo-2.6-Pro 模型
Dario: “With open source you can see the source code. Here we can’t see inside the model.” My 0.646 t/s MiMo-2.6-Pro crammed thru 128GB of Jetson AGX Thor: “Yeah, well, that’s just, like, your opinion, man.”
AI 导读
用户在 128GB 显存的 Jetson AGX Thor 上以 0.646 tokens/sec 的速度加载并运行了 FP8 格式约 566GB 的 MiMo-2.6-Pro 模型，每一层 decoder 与 routed expert 的推理过程均可从 SSD 回放追踪。
来源：Reddit · r/LocalLLaMA · reddit.com