Reddit · r/LocalLLaMA· /u/pand5461·· 4 天前AI 评分20
不同推理引擎中 IQ3_S 模型表现差异:llama.cpp 可生成连贯答案
Need maybe say "Use llama.cpp"
AI 导读
用户在"miracle engine"中运行 IQ3_S 模型让其评价帖子时,模型陷入 doom loop,10k tokens 后仍无法给出连贯答案。同一模型在 llama.cpp 中可以正常生成连贯回复。当前开源模型中仍缺乏有效减少谄媚(sycophancy)的方案。
来源:Reddit · r/LocalLLaMA · reddit.com