跳到正文
原文
Reddit · r/LocalLLaMA· /u/GodComplecs·· 4 小时前AI 评分8

Strata 与 Swift 量化版是否牺牲了模型智能?Reddit 用户实测对比

Strata might be actually really detrimental for intelligence? or is it Swift and GSQ-RCO? or both?

AI 导读

Reddit 用户反馈,Strata 等量化加速版本在实际编码任务中智能表现明显下降,甚至不及 27B Q4 的标准版本。作者指出 Strata 和 Swift 1.5 为换取速度牺牲了过多能力,需多次提示才能完成基础 3D 和 2D 游戏编写,且压缩次数更多;建议硬件条件允许的用户优先选择 27B Q4 以获得最佳结果,尽管速度慢约 3 到 5 倍。

来源:Reddit · r/LocalLLaMA · reddit.com