Reddit · r/LocalLLaMA· /u/Brilliant-Hall1387·· 8 天前AI 评分63
Sherry三进制3:4格式在WebGPU上运行：1.6 MB模型玩Connect Four，效果接近7.8 MB int8版本
Sherry's 3:4 ternary format (1.375 bits per weight) running on WebGPU: a 1.6 MB model that plays Connect Four as well as its 7.8 MB int8 version
AI 导读
Precisit团队实现了Sherry提出的3:4三进制量化格式在浏览器中运行。模型为740万参数的Connect Four评分器，权重仅1.375 bits per weight（5 bits存4个权重），在Chrome上用WebGPU运行延迟1.1ms/步。
来源：Reddit · r/LocalLLaMA · reddit.com