Reddit · r/LocalLLaMA· /u/Brilliant-Hall1387·· 4 小时前AI 评分37
MLX 量化权重分级至 FP8/int8：M6 启用 2× FP8 矩阵路径，M5 预填充最高提速 50%
Staging quantized weights to FP8 instead of fp16: 2× M6 matrix path, +40% MLX prefill (+ int8 on M5)
AI 导读
开发者发布 MLX 实验性分支，将量化矩阵乘法（QMM）默认的 FP16 分级改为 FP8，从而在 Apple Silicon M6 上调用 2× 速度的 FP8 矩阵路径；M5 家族可将 4-bit affine 权重分级至 int8 获得类似效果。
来源：Reddit · r/LocalLLaMA · reddit.com