跳到正文
热点事件历史事件

llama.cpp 调整 K/V 读取顺序提升 L2 缓存命中率

1 篇报道1 个报道来源4 天前更新

先了解这件事

AI 综述

2026年11月17日,Reddit r/LocalLLaMA 报道称,ggml-org/llama.cpp 的 PR #32407 通过调整 K/V 读取顺序来提升 L2 缓存命中率。该 PR 在 RTX 5090 上运行 qwen35 27B Q4_K - Medium 时,131072 深度下提示词处理速度从 1290.1 t/s 提升至 1822.4 t/s,约 1.41 倍;65536 深度下提速 1.25 倍;32768 及以下深度基本持平。报道称长上下文提示词处理最高提速 1.41 倍。目前该 PR 处于提交/讨论阶段,报道未提及合并状态。

AI 根据报道生成 · 4 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. Reddit · r/LocalLLaMA
    llama.cpp PR #32407 调整 K/V 读取顺序提升 L2 缓存命中率,长上下文提示词处理最高提速 1.41 倍

    ggml-org/llama.cpp 的 PR #32407 通过调整 K/V 读取顺序提升 L2 缓存命中率,在 RTX 5090 上运行 qwen35 27B Q4_K - Medium 时,131072 深度下提示词处理速度从 1290.1 t/s 提升至 1822.4 t/s,约 1.41 倍。65536 深度下提速 1.25 倍,32768 及以下深度基本持平。

本事件热度走势

当前热度 3·可比范围峰值 10(11月17日 20:00)·近 24 小时可比范围变化 -51%

02.557.51011月17日20:0011月18日12:0011月19日03:0011月19日19:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。