热点事件历史事件
Hugging Face发布MoE专家流式推理优化
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年11月18日,Hugging Face博客发布一手报道,称其团队为Transformers实现了MoE专家流式加载(PR #50717),可在内存有限的设备上按需加载专家权重。测试在32GB内存的Mac M5上进行,运行Qwen3.8-Flash-Next模型,短解码速度约13.9 tok/s,与Strata的14.8 tok/s相差约6%,prefill速度基本持平。报道称该方案在32GB Mac上逼近Strata的推理速度。目前进展停留在这一单篇一手报道,尚无后续独立验证或其他报道补充。
AI 根据报道生成 · 3 天前更新
最新进展11月18日 08:00
Hugging Face为Transformers加入MoE专家流式加载,32GB Mac上解码速度接近Strata。报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Hugging Face Blog精选在 32GB Mac 上用 Transformers 流式加载 MoE 专家,逼近 Strata 推理速度
作者为 Transformers 实现了 MoE 专家流式加载(PR #50717),在 32GB Mac M5 上运行 Qwen3.8-Flash-Next,短解码约 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%,prefill 速度基本持平。
本事件热度走势
当前热度 3·可比范围峰值 6(11月19日 01:00)·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。