2-bit 显存模型与系统 RAM 精确残差：面向显存不足模型的推测解码方案

2-bit 模型副本留在 VRAM 起草 token，6-8 bit 残差置于系统 RAM 并由完整模型校验，仅通过 PCIe 传输激活值。测试显示，6-bit 残差达到 Q8_0 水平，同时少读取约 28% RAM 数据；每次校验接受 5.23 个 token，高于 Gemma 4 drafter 的 4.20 个。该方案仅在 Q8 无法装入 VRAM 时适用。