Hugging Face Blog·· 4 天前精选AI 评分60
在 32GB Mac 上用 Transformers 流式加载 MoE 专家,逼近 Strata 推理速度
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI 导读
作者为 Transformers 实现了 MoE 专家流式加载(PR #50717),在 32GB Mac M5 上运行 Qwen3.8-Flash-Next,短解码约 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%,prefill 速度基本持平。
推荐理由
作者记录在 32GB Mac 上为 Transformers 实现 MoE 专家流式加载的过程,并给出与 Strata 的逐项对比数据。
来源:Hugging Face Blog · huggingface.co