Reddit · r/LocalLLaMA· /u/pmttyji·· 6 小时前AI 评分37
PN-Mix：面向高效长输出 LLM 推理的 Pair-Norm 引导混合精度 Key Cache 量化
[Paper] PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
AI 导读
PN-Mix 通过 RoPE 通道对层面的 attention logit 扰动分析，为关键通道对分配更高精度，以缓解长输出 LLM 的 KV cache 内存与带宽瓶颈。其平均精度为 2.26-bit，在推理、代码生成和 AIME 基准上取得与 2.32–2.39-bit 混合精度方法相当或更好的平均准确率，并可扩展至 1.5-bit。
来源：Reddit · r/LocalLLaMA · reddit.com