Reddit · r/LocalLLaMA· /u/pmttyji·· 4 小时前AI 评分40
JetBrains Mellum2.1-12B-A2.5B-Thinking-MTP 发布：MTP 投机解码提速 1.4–1.8 倍
JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP · Hugging Face
AI 导读
JetBrains 在 Hugging Face 发布 Mellum2.1-12B-A2.5B-Thinking-MTP，新增一个与模型联合训练的 MTP 头，作为投机解码草稿，输出不变而解码速度提升 1.4–1.8 倍，约 90% 草稿 token 被接受。
来源：Reddit · r/LocalLLaMA · reddit.com