跳到正文
热点事件持续更新

bitnet.cpp main 输出错误,Bonsai 1.7B 正确,ik_llama.cpp 多数情况最快

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026-10-20 01:57,Reddit r/LocalLLaMA 用户发文,实测 bitnet.cpp、Bonsai 与 ik_llama.cpp 在低比特 GGUF 推理下的表现。测试在 ARM Neoverse-N1 和 AVX2 x86 平台上进行,以 HF transformers F16 为参考基准。结论包括:bitnet.cpp main(0b341e5)在 BitNet b1.58 2B4T 上输出错误,x86 下 perplexity 约为参考的 6 倍,ARM 上出现打印异常;Bonsai 1.7B 的输出结果与参考一致,正确可用;ik_llama.cpp 在多数情况下为最快实现,加入 -rtr 选项后通常能进一步缩短时间。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. Reddit · r/LocalLLaMA
    实测 bitnet.cpp、Bonsai 与 ik_llama.cpp:bitnet.cpp main 输出错误,Bonsai 1.7B 正确,ik_llama.cpp 加 -rtr 通常最快

    作者在 ARM Neoverse-N1 和 AVX2 x86 上以 HF transformers F16 参考为基准测试了多种低比特 GGUF 文件。结果显示,bitnet.cpp main(0b341e5)的 BitNet b1.58 2B4T 输出错误(x86 上 perplexity 约为参考的 6 倍,ARM 打印 ?

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。