为何不应使用 LLM 自报置信度

作者认为，LLM 给出的置信度只是逐 token 生成的文本，并未反映证据量或经过结果校准。相同问题重复提问或改变措辞时，数值也可能变化，因此不能把模型自报数字当作可靠概率。文章建议让 LLM 完成任务，另用基于可观察信息、历史正确率和实际结果校准的规则生成置信度，并持续检查模型是否过度自信或信心不足。