Kimi K3 三个月回顾：本地运行门槛高，小模型已赶上

月之暗面（Moonshot）今年 7 月发布 Kimi K3 全量模型，模型大小高达 1.56 TB，尽管仅有 104B 激活参数，总量仍达 2.8T，必须全部加载才能运行。Unsloth 推荐的最小量化版本仍需约 610 GB 的 RAM+VRAM，512 GB 显存方案无法装下该模型。在量化精度方面，1-bit 量化与全量模型的下一 token 一致率仅为 79%，需要 2-bit 量化才能达到 90% 的一致率。三个月后的回顾显示，由于模型体量过大，Kimi K3 几乎无法在本地硬件上运行，与此同时，参数量更小的模型在性能上已经迎头赶上。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。