Reddit · r/MachineLearning· /u/phoenix10701·2026-10-20 04:05· 6 小时前AI 评分29

Taco：跨平台 LLM 压缩方案，在 GPU/CPU 切换时仍保持解码一致

Taco: cross-platform LLM compression that doesn't break when you change your GPU or CPU. [P]

AI 导读

Taco 提出一种跨平台 LLM 压缩方法，强制 encoder 与 decoder 在不同硬件上产出完全一致的 token 概率，避免浮点差异导致的解码失败（GPT-2 在 Mac 上编码后在 x86 上 4 个窗口解码全部失败）。