Reddit · r/LocalLLaMA· /u/pmttyji·· 2 小时前AI 评分45
Specter：量化驱动的多步推测卸载加速 MoE 推理
[Paper] Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading
AI 导读
Specter 将量化与推测解码、专家卸载结合，通过设备端轻量量化草稿模型预测未来专家使用，提前调度专家搬运与执行。单请求推理下，其 TPOT 相比当前最先进系统平均加速 1.50x，最高 1.88x，让内存受限的单 GPU MoE 推理更适合通用硬件。
来源：Reddit · r/LocalLLaMA · reddit.com