Reddit · r/LocalLLaMA· /u/Dreeew84·· 5 小时前AI 评分29
Strata 性能微调实战:参数调优带来接近翻倍的 decode 速度
Strata performance finetuning - try it out
AI 导读
用户针对 Strata 推理设置分享了关键微调参数:手动指定 `--pcie-frac=0.2`、调高 `--pool-workers` 带来约 +10% decode 提速、启用 `--trim-stage-weights` 再获 +8%。
来源:Reddit · r/LocalLLaMA · reddit.com