跳到正文
原文
Reddit · r/LocalLLaMA· /u/No-Setting8461·· 5 小时前AI 评分49

Strata v0.1.45 针对 64GB Jetson AGX Orin 优化并支持 Qwen3.6-35B-A3B

Strata Optimized for 64GB AGX Orin

AI 导读

一个 Strata v0.1.45 分支针对 64GB Jetson AGX Orin 优化,主要运行 Qwen3.6-35B-A3B。其在 MTP-3 下解码速度约为 21 tok/s,启用采样 MTP-2 的短提示词测试约为 40–41 tok/s;这些结果并非严格匹配的基准测试。分支还加入统一 INT8 KV 缓存、前缀检查点及可选 KV 预分配。

来源:Reddit · r/LocalLLaMA · reddit.com