Reddit · r/LocalLLaMA· /u/jacek2023·· 4 小时前AI 评分23
llama.cpp 新增 Mellum2.1 的 MTP（Multi-Token Prediction）支持
model : MTP support for Mellum2.1 by Xarbirus · Pull Request #30612 · ggml-org/llama.cpp
AI 导读
llama.cpp 合并 PR #30612，为 Mellum2.1 增加了 MTP 支持。Mellum2.1 沿用 Mellum2 架构（12B 总参数、2.5B 激活参数的 MoE 模型），主要通过强化学习改进，新增在真实仓库、shell 和文件编辑工具中训练的智能体能力，许可证为 Apache 2.0。
来源：Reddit · r/LocalLLaMA · reddit.com