ApexW PyTorch 优化器面向大型 GPU 工作负载的初步评测与反馈征集

开发者发布 PyTorch 优化器 ApexW，通过紧凑优化器状态和基于 Triton 的执行路径降低 GPU 内存占用并提升大型张量场景的优化器步进速度。当前测试中，该路径较 PyTorch fused AdamW 快约 1.5x，优化器状态内存约减半；但结果仅来自 optimizer-only 基准测试，在多小张量场景反而更慢，完整 MLP 训练中也未实现整体加速。