Reddit · r/LocalLLaMA· /u/No-Dragonfly6246·· 3 小时前AI 评分51
Embedl 公布 Qwen3.8-27B 在 Jetson Thor 上的部署性能
Qwen3.8-27B Jetson Thor: 40 tok/s at FP16-level accuracy (INT4 + MTP + FlashHead)
AI 导读
Embedl 团队公布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署结果，batch 1 解码速度为 39.6 tok/s，端到端速度为 23.6 tok/s，提示词处理速度为 926 tok/s，峰值显存为 24.8 GiB。
来源：Reddit · r/LocalLLaMA · reddit.com