热点事件持续更新
网友在 Jetson AGX Thor 上以 0.646 t/s 跑通 ~566GB 的 MiMo-2.6-Pro 模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 17 日，Reddit r/LocalLLaMA 用户发帖称，在 128GB 显存的 Jetson AGX Thor 开发板上成功加载并运行了 FP8 格式、约 566GB 的 MiMo-2.6-Pro 模型，推理速度为 0.646 tokens/sec。该用户表示，每一层 decoder 以及 routed expert 的推理过程都可以从 SSD 回放追踪。这意味着模型权重超过设备显存容量，运行依赖 SSD 流式回放读取，吞吐量极低，仅能完成可行性验证级别的小规模推理演示。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月17日
- Reddit · r/LocalLLaMA网友在 Jetson AGX Thor 上以 0.646 t/s 跑通 ~566GB 的 MiMo-2.6-Pro 模型
用户在 128GB 显存的 Jetson AGX Thor 上以 0.646 tokens/sec 的速度加载并运行了 FP8 格式约 566GB 的 MiMo-2.6-Pro 模型，每一层 decoder 与 routed expert 的推理过程均可从 SSD 回放追踪。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。