跳到正文
原文
Reddit · r/LocalLLaMA· /u/Aggravating-Push-207·· 5 小时前AI 评分12

llama.cpp 上 Ornith 1.5 9B 启用 MTP 推测解码反而比标准 decode 更慢的原因

Why is MTP slower than standard decode?

AI 导读

用户在 RTX 4060 8GB 上用 llama.cpp 运行 Ornith-1.5-9B-GGUF,开启 draft-mtp 后文本生成速度约 15 tok/s、prompt 处理约 200 tok/s,关闭 MTP 则速度翻倍。尽管 draft 接受率达 0.95、平均接受长度 2.27,开启 MTP 时显存带宽和 GPU 利用率都约为关闭时的一半。

来源:Reddit · r/LocalLLaMA · reddit.com