跳到正文
原文
Reddit · r/LocalLLaMA· /u/Shot-Ad-4147·· 4 天前AI 评分47

Strata 0.1.38 本地大模型推理性能测试:RTX 4090 48GB + 128GB RAM

4090 48G +128G+strata test

AI 导读

在 RTX 4090 48GB + 128GB RAM 上测试 Strata 0.1.38 推理引擎,发现 n-gram 表加载到 RAM 仅提升 1.2% 解码速度但占用 28.4 GiB。

来源:Reddit · r/LocalLLaMA · reddit.com