Reddit · r/LocalLLaMA· /u/GodComplecs·· 4 小时前AI 评分8
Strata 与 Swift 量化版是否牺牲了模型智能?Reddit 用户实测对比
Strata might be actually really detrimental for intelligence? or is it Swift and GSQ-RCO? or both?
AI 导读
Reddit 用户反馈,Strata 等量化加速版本在实际编码任务中智能表现明显下降,甚至不及 27B Q4 的标准版本。作者指出 Strata 和 Swift 1.5 为换取速度牺牲了过多能力,需多次提示才能完成基础 3D 和 2D 游戏编写,且压缩次数更多;建议硬件条件允许的用户优先选择 27B Q4 以获得最佳结果,尽管速度慢约 3 到 5 倍。
来源:Reddit · r/LocalLLaMA · reddit.com