Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程实践

AWS 在 Amazon SageMaker AI 上介绍了针对 Mixture-of-Experts（MoE）模型的融合 MoE 内核优化方案。通过 Swap-AB 重排矩阵运算以匹配 Hopper Tensor Core 的 64 行布局约束，在 H200 大规模 MoE 模型上获得 2–4% 的端到端吞吐提升，相关补丁已合入 vLLM 0.24.0 及以上版本。