跳到正文
原文
Reddit · r/LocalLLaMA· /u/EmPips·· 5 天前AI 评分28

Strata + Qwen3.8 Next 在中端 GPU 上的本地运行体验

Anyone sitting on a lot of slow system memory and a modest GPU.. try Strata + Qwen3.8 Next.

AI 导读

用户在 DDR4 + 7900XTX 配置下运行 Strata + Qwen3.8 Next 的 IQ3_XXS 权重(约 80GB),推理速度稳定在 45-70 token/s,12GB 和 16GB 显卡用户也获得类似结果。对比同设备的 Llama CPP 调优版最高 22.5 token/s,Strata 速度提升约 2-3 倍,用户反馈质量更优但不推荐 Q2 权重。

来源:Reddit · r/LocalLLaMA · reddit.com