Reddit · r/LocalLLaMA· /u/matheus-c-feitosa·· 3 小时前AI 评分36
实测 bitnet.cpp、Bonsai 与 ik_llama.cpp：bitnet.cpp main 输出错误，Bonsai 1.7B 正确，ik_llama.cpp 加 -rtr 通常最快
I checked BitNet and Bonsai on CPU against references: bitnet.cpp main still gives wrong output, Bonsai 1.7B is correct wherever it loads, and ik_llama.cpp with -rtr is usually fastest
AI 导读
作者在 ARM Neoverse-N1 和 AVX2 x86 上以 HF transformers F16 参考为基准测试了多种低比特 GGUF 文件。结果显示，bitnet.cpp main（0b341e5）的 BitNet b1.58 2B4T 输出错误（x86 上 perplexity 约为参考的 6 倍，ARM 打印 ?
来源：Reddit · r/LocalLLaMA · reddit.com