跳到正文
原文
Hacker News · 首页· k__·· 3 小时前AI 评分64

LookAtMyQuant 量化编译器发布:Inkling-2-Mini 压缩至 5.4 GB 并配套 Apple Silicon 运行时

Inkling-2-Mini in 5.4 GB Memory

AI 导读

LookAtMyQuant 发布量化编译器及配套 Apple Silicon 运行时 lamq,把 thinkingmachines/Inkling-2-Mini 从 18.89 GB 文本权重压缩到 5.38 GB(1.63 bits/weight)和 8.87 GB(2.69 bits/weight)。

来源:Hacker News · 首页 · github.com