跳到正文
原文
Reddit · r/LocalLLaMA· /u/mrsalvadordali·· 2 天前AI 评分15

量化本地模型在思考阶段陷入无限循环,用户追问原因

Infinite Loop

AI 导读

有用户反映,其使用的多个模型(尤其是量化版本)在思考阶段会陷入循环,无限重复相同内容。该用户询问非量化的本地模型是否也会出现此问题,以及为何闭源模型从不会发生,并猜测是否与内存或服务器规模有关。

来源:Reddit · r/LocalLLaMA · reddit.com