跳到正文
原文
Reddit · r/LocalLLaMA· /u/pand5461·· 4 天前AI 评分20

不同推理引擎中 IQ3_S 模型表现差异:llama.cpp 可生成连贯答案

Need maybe say "Use llama.cpp"

AI 导读

用户在"miracle engine"中运行 IQ3_S 模型让其评价帖子时,模型陷入 doom loop,10k tokens 后仍无法给出连贯答案。同一模型在 llama.cpp 中可以正常生成连贯回复。当前开源模型中仍缺乏有效减少谄媚(sycophancy)的方案。

来源:Reddit · r/LocalLLaMA · reddit.com