Reddit · r/LocalLLaMA· /u/mailto_devnull·· 4 小时前AI 评分20
量化是否导致 3.8 27B 模型重复检查已推理内容？
"But wait... I need to check [thing that has already been reasoned though]" — an artifact of quantization?
AI 导读
用户在使用 3.8 27B Q4_K_M 时频繁遇到模型重复检查已推理内容的现象，改用 Swift 后大幅减少，而 Swift QFN 的 IQ2-XXS 低量化版本二次猜测更严重。该用户询问这一行为是模型本身特性还是量化产物，以及在 BF16 GGUF 上是否不会出现。
来源：Reddit · r/LocalLLaMA · reddit.com