Reddit · r/LocalLLaMA· /u/nalaginrut·· 3 小时前AI 评分41
SonicBoom v0.0.1：在笔记本 RTX0 3050 上以 51.65 tok/s 解码 Gemma 4 E4B，依赖图编译器而非新算子
SonicBoom: 52 tok/s decode on a laptop RTX 3050 (llama.cpp: 45) with the same quantized kernels, the difference is a graph compiler. No Python.
AI 导读
SonicBoom v0.0.1 是一个用 C++/CUDA 编写的本地 LLM 推理原生 tensor runtime，无 Python 依赖。
来源：Reddit · r/LocalLLaMA · reddit.com