跳到正文
原文
Reddit · r/LocalLLaMA· /u/No-Dragonfly6246·· 4 天前AI 评分58

Embedl 为 Strix Halo 的 int4 指令写 GEMM,Gemma 4 31B 推理达 llama.cpp 的 2.43 倍

Strix Halo int4 cores: Gemma 4 31B at 2.43x llama.cpp, same quality

AI 导读

Embedl 为 Strix Halo(8060S)的 int4 x int4 WMMA 指令编写了 GEMM,用 int4 权重和 int4 激活运行 Gemma 4,31B 模型端到端速度达 llama.cpp 的 2.43 倍。

来源:Reddit · r/LocalLLaMA · reddit.com