热点事件观察中
ik_llama.cpp 推出 MoE 优化新 fork 并支持 Q2_0 量化
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
据 2026 年 10 月 6 日 Reddit r/LocalLLaMA 报道，有开发者基于 ik_llama.cpp 推出新 fork，引入两项与 MoE（混合专家）推理相关的优化：其一是带宽自适应的 CPU/GPU 混合执行机制，可在运行时根据负载在 CPU 与 GPU 之间分配专家计算；其二是专家常驻（expert residency）机制，将 MoE 模型中的专家参数保留在显存中，以减少推理时反复加载带来的开销。同时，该 fork 新增了对 Q2_0 量化的支持。目前尚未见其他独立来源对该 fork 的性能数据或兼容性进行报道。
AI 根据报道生成 · 2 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月6日
- Reddit · r/LocalLLaMAik_llama.cpp fork 新增 MoE 优化：专家常驻显存与自适应 CPU/GPU 混合执行，支持 Q2_0 量化
开发者基于 ik_llama.cpp 推出新 fork，引入带宽自适应的 CPU/GPU 混合执行与 MoE 专家常驻（expert residency）机制，并新增 Q2_0 量化支持。
本事件热度走势
当前热度 3·可比范围峰值 10（10月6日 09:00）·近 24 小时可比范围变化 -51%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。