跳到正文
原文
Reddit · r/LocalLLaMA· /u/jacek2023·· 4 天前AI 评分28

llama.cpp PR #32407 调整 K/V 读取顺序提升 L2 缓存命中率,长上下文提示词处理最高提速 1.41 倍

Rotate K/V read order for better L2 cache hit rates by gaugarg-nv · Pull Request #32407 · ggml-org/llama.cpp

AI 导读

ggml-org/llama.cpp 的 PR #32407 通过调整 K/V 读取顺序提升 L2 缓存命中率,在 RTX 5090 上运行 qwen35 27B Q4_K - Medium 时,131072 深度下提示词处理速度从 1290.1 t/s 提升至 1822.4 t/s,约 1.41 倍。65536 深度下提速 1.25 倍,32768 及以下深度基本持平。

来源:Reddit · r/LocalLLaMA · reddit.com