热点事件持续更新
Ornith 1.5 9B 在 llama.cpp 启用 MTP 推测解码反慢于标准解码
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
近日用户在 RTX 4060 8GB 上使用 llama.cpp 运行 Ornith-1.5-9B-GGUF 模型，对比开启与关闭 MTP（Multi-Token Prediction）推测解码的生成速度。开启 draft-mtp 时，文本生成速度约 15 tok/s，prompt 处理约 200 tok/s；关闭 MTP 后速度则接近翻倍。尽管官方数据显示 draft 模型接受率达 0.95、平均接受长度 2.27，开启 MTP 时显存带宽和 GPU 利用率仍仅为关闭时的一半，说明当前的 llama.cpp MTP 实现在该硬件与该 GGU F 上未能真正利用推测解码的并行优势，反而因开销造成性能倒退。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- Reddit · r/LocalLLaMAllama.cpp 上 Ornith 1.5 9B 启用 MTP 推测解码反而比标准 decode 更慢的原因
用户在 RTX 4060 8GB 上用 llama.cpp 运行 Ornith-1.5-9B-GGUF，开启 draft-mtp 后文本生成速度约 15 tok/s、prompt 处理约 200 tok/s，关闭 MTP 则速度翻倍。尽管 draft 接受率达 0.95、平均接受长度 2.27，开启 MTP 时显存带宽和 GPU 利用率都约为关闭时的一半。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。