跳到正文
原文
Reddit · r/LocalLLaMA· /u/Thrumpwart·· 2 小时前AI 评分15

LiquidAI LFM2.5-24B-A2B 在 Pi Agent 中的实际体验

Very impressed with LFM2.5-24-A2B in Pi Agent

AI 导读

一名用户在 Pi Agent 中用 LiquidAI 新发布的 LFM2.5-24B-A2B 替换此前常用的 Ornith 1.5-35B,在 AMD W7900 上用 ROCm + llama.cpp 测试时持续达到约 95 tps 的推理速度,Q8 量化占用 30GB 显存并支持 128k 上下文窗口。

来源:Reddit · r/LocalLLaMA · reddit.com