Reddit · r/LocalLLaMA· /u/fintip·· 3 小时前AI 评分22
llama.cpp 是否已落后?Reddit 网友讨论定制推理引擎百花齐放
Age of the bespoke engines?
AI 导读
Reddit 用户 fintip 认为 llama.cpp 如今像当年的 ollama,速度慢且落后,而 Strata 等新引擎带来难以想象的提升,每天都有个人开发者发布声称数字更好的 fork 引擎。他计划测试 Avalon 和 basalt,并称已实测 flash next 比 27b 更快更好,困惑为何个人开发者数周就能做到 llama.cpp 做不到的事。
来源:Reddit · r/LocalLLaMA · reddit.com