Reddit · r/LocalLLaMA· /u/tom_tsai28·· 4 天前AI 评分56
5KB 纯 x86-64 汇编引擎实现 Gemma-2B 推理
[Discussion] A 5KB pure x86-64 assembly engine for Gemma-2B (FP16, 4.6 tok/s on CPU)
AI 导读
作者用纯 x86-64 汇编（FASM）编写了一个 Gemma-2B 推理引擎，总二进制体积仅 5.2KB，使用 AVX2+F16C 指令集和自定义 4 线程 SMP GEMM，在老款 i5 四核 CPU 上达到 4.5-4.7 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com