跳到正文
原文
Reddit · r/LocalLLaMA· /u/Dreeew84·· 5 小时前AI 评分29

Strata 性能微调实战:参数调优带来接近翻倍的 decode 速度

Strata performance finetuning - try it out

AI 导读

用户针对 Strata 推理设置分享了关键微调参数:手动指定 `--pcie-frac=0.2`、调高 `--pool-workers` 带来约 +10% decode 提速、启用 `--trim-stage-weights` 再获 +8%。

来源:Reddit · r/LocalLLaMA · reddit.com