Reddit · r/LocalLLaMA· /u/No-Setting8461·· 5 小时前AI 评分49
Strata v0.1.45 针对 64GB Jetson AGX Orin 优化并支持 Qwen3.6-35B-A3B
Strata Optimized for 64GB AGX Orin
AI 导读
一个 Strata v0.1.45 分支针对 64GB Jetson AGX Orin 优化,主要运行 Qwen3.6-35B-A3B。其在 MTP-3 下解码速度约为 21 tok/s,启用采样 MTP-2 的短提示词测试约为 40–41 tok/s;这些结果并非严格匹配的基准测试。分支还加入统一 INT8 KV 缓存、前缀检查点及可选 KV 预分配。
来源:Reddit · r/LocalLLaMA · reddit.com