Reddit · r/LocalLLaMA· /u/Dreeew84·· 3 小时前AI 评分21
llama.cpp 概率 MTP 投机解码已合并,散文生成速度提升约 14%
Reminder: try probabilistic MTP if you missed it. Decode +14% on prose
AI 导读
llama.cpp 现已合并概率 MTP 投机解码,相关 PR(draft-n-max / draft-p-min 参数)与 greedy sampling 表现一致,散文生成场景下解码速度提升约 14%,测试在 thinking off、ngram-mod off 条件下进行。
来源:Reddit · r/LocalLLaMA · reddit.com