Reddit · r/LocalLLaMA· /u/No-Dragonfly6246·· 4 天前AI 评分58
Embedl 为 Strix Halo 的 int4 指令写 GEMM,Gemma 4 31B 推理达 llama.cpp 的 2.43 倍
Strix Halo int4 cores: Gemma 4 31B at 2.43x llama.cpp, same quality
AI 导读
Embedl 为 Strix Halo(8060S)的 int4 x int4 WMMA 指令编写了 GEMM,用 int4 权重和 int4 激活运行 Gemma 4,31B 模型端到端速度达 llama.cpp 的 2.43 倍。
来源:Reddit · r/LocalLLaMA · reddit.com