Reddit · r/LocalLLaMA· /u/pmttyji·· 4 小时前AI 评分26
llama.cpp PR #31233：用 LRFU/MQ 混合缓存 ClassLRU 替换 SLRU
moe-cache : LRFU/MQ-like hybrid cache, ClassLRU by sanmai · Pull Request #31233 · ggml-org/llama.cpp
AI 导读
llama.cpp 的 PR #31233 提出用按类别优先高频专家、并以衰减使用历史排序的 LRFU/MQ 混合缓存 ClassLRU 替换 SLRU。在热缓存下，QFN 解码提升 6%、GLM 提升 7%，上传次数减少 8%。该改动为 llama_moe_cache 启用 auto 模式，目前等待 #30966 合并。
来源：Reddit · r/LocalLLaMA · reddit.com