跳到正文
原文
Hacker News · 首页· bagdaerdev·· 5 小时前AI 评分19

Show HN:哪款 Mac 能跑哪个 LLM,速度如何计算

Show HN: Which Mac runs which LLM, and how fast

AI 导读

一款 Show HN 工具可计算任意 Apple Silicon Mac 与 LLM 组合所需的统一内存及生成速度。基于参数×位宽÷8得出权重体积,加上 15% 运行开销与 KV cache,并预留 3 GB 给 macOS;速度公式为带宽÷权重体积再加每 token 3.3 ms 固定开销,对 M4 与 M5 Pro 八个实测拟合度达 90.8%。

来源:Hacker News · 首页 · macyou.co