社区讨论：本地 LLM 实际量化精度与 KLD 阈值经验征集

2026 年 10 月 18 日，Reddit 用户在 r/LocalLLaMA 发帖，询问社区在本地推理大语言模型时实际使用的量化精度，并征集大家关于 2-bit、3-bit 量化在不同场景下可用性的经验。发帖人特别提到了聊天、代码生成以及 AI 智能体这几类典型使用情境，希望了解各量化级别在这些任务中的实际表现差异。该话题还涉及 KLD（KL 散度）阈值在评估量化效果时的经验性参考，以便在精度损失与推理效率之间找到合适的平衡点。目前该讨论仍处于社区征集与经验分享的早期阶段，尚无后续报道给出汇总结论或具体数值。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。