Reddit · r/LocalLLaMA· /u/DotaMate·· 4 小时前AI 评分55
Kapitsa 实测 Flint 40B A2.5B Q4 在 M4 Pro 上的推理性能
Benchmark: Recursive's Flint 40B A2.5B Q4 achieves 128 tok/s on MacBook Pro M4 Pro 48GB using Kapitsa, an open-source Apple Silicon optimized engine, Claude/Codex/Pi/OpenCode compatible.
AI 导读
Kapitsa 团队在搭载 M4 Pro 48GB 的 MacBook Pro 16 上测试 Flint 40B A2.5B Q4，短上下文解码达到 127.9 tok/s，128K 上下文解码为 45.7 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com