Reddit · r/LocalLLaMA· /u/mumblerit·· 2 小时前AI 评分30
Liquid LFM3-1.7B 在 Strix Halo 核显上跑出 4.1k t/s prefill
LFM3-1.7b seems impressive
AI 导读
Liquid 的 LFM3-1.7B(Q8_0 GGUF、llama.cpp、ROCm)在 Strix Halo 核显上实现 4.1k t/s prefill 和约 78 t/s decode,跨 7900 XTX + XT 做 tensor split 后可达约 7.1k / 约 151 t/s。
来源:Reddit · r/LocalLLaMA · reddit.com