热点事件观察中
LLM自报置信度不可靠
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026年10月21日，Hacker News首页文章指出，大语言模型自报的置信度只是逐token生成的文本，并不能反映证据量，也未经过结果校准。模型对相同问题重复作答或改变提问措辞时，置信度数值可能发生变化，因此该数字不应被视为可靠概率。文章建议让LLM完成任务，另行根据可观察信息、历史正确率和实际结果进行校准，并持续检查模型是否存在过度自信或信心不足的问题。
AI 根据报道生成 · 1 小时前更新
最新进展10月21日 12:27
新报道强调，LLM自报置信度会随重复提问或措辞变化而波动。报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- Hacker News · 首页为何不应使用 LLM 自报置信度
作者认为，LLM 给出的置信度只是逐 token 生成的文本，并未反映证据量或经过结果校准。相同问题重复提问或改变措辞时，数值也可能变化，因此不能把模型自报数字当作可靠概率。文章建议让 LLM 完成任务，另用基于可观察信息、历史正确率和实际结果校准的规则生成置信度，并持续检查模型是否过度自信或信心不足。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。