llama.cpp 合并概率 MTP 投机解码优化方案

llama.cpp 项目近期合并了概率 MTP（Multi-Token Prediction）投机解码相关优化方案。该方案通过引入 draft-n-max 与 draft-p-min 等参数，对投机解码过程中的草稿 token 选取策略进行调整，使概率采样场景下的解码行为与 greedy sampling 保持一致。开发者围绕相关 PR 进行了多组测试，重点验证了草稿参数对采样一致性与解码吞吐的影响。在散文生成场景的基准测试中，该方案在关闭 thinking 与 ngram-mod 的条件下实现了约 14% 的解码速度提升，显示出概率 MTP 投机解码在非确定性采样下同样具备显著加速潜力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。