跳到正文
原文
Reddit · r/LocalLLaMA· /u/mumblerit·· 2 小时前AI 评分30

Liquid LFM3-1.7B 在 Strix Halo 核显上跑出 4.1k t/s prefill

LFM3-1.7b seems impressive

AI 导读

Liquid 的 LFM3-1.7B(Q8_0 GGUF、llama.cpp、ROCm)在 Strix Halo 核显上实现 4.1k t/s prefill 和约 78 t/s decode,跨 7900 XTX + XT 做 tensor split 后可达约 7.1k / 约 151 t/s。

来源:Reddit · r/LocalLLaMA · reddit.com