Reddit · r/LocalLLaMA· /u/ThePrimeClock·· 6 小时前AI 评分38
Gandalf：通过 KV Cache 卸载延长 LLM 服务中的 Flash 存储寿命
Gandalf: Flash Shall Not Die! Increasing Flash Storage Lifetime for KV Cache Offloading in LLM Serving
AI 导读
Gandalf 提出具备 SSD 寿命意识的 KV Cache 卸载系统，优先将 full-attention KV Cache 写入 SSD。评测显示，其在多种工作负载和硬件容量下将 SSD 寿命平均延长 7.3 倍，同时对缓存命中率影响可忽略，并可扩展至 HBF 等其他 Flash 存储。
来源：Reddit · r/LocalLLaMA · reddit.com