Reddit · r/LocalLLaMA· /u/InternalMode8159·· 5 小时前AI 评分18
使用大模型时建议关闭 MTP:实测 tok/s 提升 20-30%
If you are using big model compared to ram try and disable mtp
AI 导读
有用户实测发现,在显存/内存受限场景下运行大模型时,MTP 反而会拖慢性能。其在 3060 显卡、32GB 内存上通过 gyrostrata 和 strata 测试 gyro-m 与 swift 1.5,关闭 MTP 后 tok/s 提升 20-30%。由于不少应用默认开启 MTP,建议使用大模型时手动关闭。
来源:Reddit · r/LocalLLaMA · reddit.com