Reddit · r/LocalLLaMA· /u/Shot-Ad-4147·· 4 天前AI 评分47
Strata 0.1.38 本地大模型推理性能测试:RTX 4090 48GB + 128GB RAM
4090 48G +128G+strata test
AI 导读
在 RTX 4090 48GB + 128GB RAM 上测试 Strata 0.1.38 推理引擎,发现 n-gram 表加载到 RAM 仅提升 1.2% 解码速度但占用 28.4 GiB。
来源:Reddit · r/LocalLLaMA · reddit.com