ISTA-DASLab 演示用预填充模型从 SSD 流式补全以提升 Qwen3.8-27b 低量化精度

ISTA-DASLab 发布演示，展示通过预填充模型从 SSD 流式读取的方式，在保持低显存占用和快速解码的同时恢复 Qwen3.8-27b 的低量化精度。该方法需要 Nvidia Blackwell GPU 运行，4k 以上上下文的解码速度与不使用预填充模型相当，测试以 MMLU-Pro 准确率为衡量指标。