热点事件历史事件
llama.cpp 调整 K/V 读取顺序提升 L2 缓存命中率
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年11月17日,Reddit r/LocalLLaMA 报道称,ggml-org/llama.cpp 的 PR #32407 通过调整 K/V 读取顺序来提升 L2 缓存命中率。该 PR 在 RTX 5090 上运行 qwen35 27B Q4_K - Medium 时,131072 深度下提示词处理速度从 1290.1 t/s 提升至 1822.4 t/s,约 1.41 倍;65536 深度下提速 1.25 倍;32768 及以下深度基本持平。报道称长上下文提示词处理最高提速 1.41 倍。目前该 PR 处于提交/讨论阶段,报道未提及合并状态。
AI 根据报道生成 · 4 天前更新
最新进展11月17日 19:34
llama.cpp PR #32407 调整 K/V 读取顺序,长上下文提示词处理最高提速 1.41 倍。报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- Reddit · r/LocalLLaMAllama.cpp PR #32407 调整 K/V 读取顺序提升 L2 缓存命中率,长上下文提示词处理最高提速 1.41 倍
ggml-org/llama.cpp 的 PR #32407 通过调整 K/V 读取顺序提升 L2 缓存命中率,在 RTX 5090 上运行 qwen35 27B Q4_K - Medium 时,131072 深度下提示词处理速度从 1290.1 t/s 提升至 1822.4 t/s,约 1.41 倍。65536 深度下提速 1.25 倍,32768 及以下深度基本持平。
本事件热度走势
当前热度 3·可比范围峰值 10(11月17日 20:00)·近 24 小时可比范围变化 -51%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。