Reddit · r/LocalLLaMA· /u/The_VibePreneur·· 2 小时前AI 评分39
BitRun:面向 1-bit 大语言模型的零编译独立运行器,Apple Silicon 达 127 t/s
I built BitRun: A standalone runner for 1-bit LLMs (100–127 t/s on Apple Silicon & 40–45 t/s on PC CPUs with zero compile)
AI 导读
开发者发布 BitRun,这是一款运行 1-bit 三值大语言模型的零编译独立工具,针对 Microsoft bitnet.cpp 的内存越界、NEON 循环、激活函数等底层 C++ 内核问题进行了修复。
来源:Reddit · r/LocalLLaMA · reddit.com