Reddit · r/LocalLLaMA· /u/Spectra-Global·· 3 天前AI 评分8
用 FFT 替换 AdamW 优化器状态以削减 VRAM：非量化显存压缩方法的社区探索
We swapped AdamW's optimizer states for a Fast Fourier Transform (FFT) to cut VRAM in half. Anyone else trying non-quantization methods?
AI 导读
Spectra-Global 团队针对 8B 与 70B 模型在消费级 GPU 上微调时的 OOM 问题，放弃 8-bit 量化方案，转而将 AdamW 优化器状态通过 FFT 变换到频域处理：动态丢弃低能量频率并压缩后逆向重建，VRAM 用量下降约 50%，避免量化带来的收敛退化；代价是 FFT 计算带来单步延迟略增。
来源：Reddit · r/LocalLLaMA · reddit.com