跳到正文
原文
Reddit · r/LocalLLaMA· /u/pmttyji·· 1 天前AI 评分39

PACE:四比特循环状态的周期性通道对齐编码

[Paper] PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

AI 导读

PACE 提出一种无需微调的后训练四比特状态量化器,每隔数个生成 token 才舍入循环状态,并通过通道内共享量化 scale 降低误差。四个 4B 至 35B 混合模型上的测试显示,混合四比特和八比特 heads 的 PACE 在约三分之二内存下可与八比特 DAMP 竞争,全四比特版本在相同内存下得分高于 Q-Mamba,同时保留 buffer 带来的解码加速。

来源:Reddit · r/LocalLLaMA · reddit.com