Reddit · r/LocalLLaMA· /u/Queasy_Back2588·· 3 小时前AI 评分6
社区讨论：本地 LLM 日常推理实际使用的量化精度与 KLD 阈值经验
What quant do you actually use day to day? Anyone happy with 2-bit or 3-bit?
AI 导读
一位 Reddit 用户在 r/LocalLLaMA 发帖询问社区在本地推理大语言模型时实际使用的量化精度，并征集关于 2-bit、3-bit 在聊天、代码生成和 AI 智能体场景下可用性的经验。
来源：Reddit · r/LocalLLaMA · reddit.com