跳到正文
返回论文列表
cs.LG提交于 已译

模型验证充分性而非有效性:可用谬误规避了缺口触发的检查

Models Verify Sufficiency, Not Validity: Usable Falsehoods Evade the Checks that Gaps Trigger

Naveen Madiraju

中文摘要

当模型面对“诺曼人控制多少定居点”时,因原文未提及而拒答;但若提供“控制12个定居点,每个400人”这一未支持前提,模型即计算总数4800。现有基准多通过删除事实构建,未探测此现象。在固定源支持、仅改变未支持前提可用性的实验中,GSM8K上四个模型(2B-26B)的标记率下降8-30分,答案承诺率上升1.5-2.3倍,16组对比经Holm校正后均显著。在SQuAD上,断言事实或损坏中间值也复现该现象。模型常明确陈述缺失信息(如“未提供财务信息”),却对同一物品静默采用虚构价格。这表明模型是否检查取决于是否存在可用材料。作为评判者,模型在删除必要步骤的解法中,78-99%的情况下判定其正确。一种提示层缓解措施使准确率降低22分,但未改善检测能力。

关键要点

  1. 01现有基准通过删除事实构建,未探测未支持前提变为可用时模型行为的变化。
  2. 02固定源支持仅改变前提可用性,GSM8K上模型标记率下降8-30分,答案承诺率上升1.5-2.3倍。
  3. 03模型能明确陈述信息缺失,却对同一物品静默采用虚构价格,显示检查行为依赖可用材料。
  4. 04作为评判者,模型在删除必要步骤的解法中,78-99%的情况下错误判定其正确。
  5. 05提示层缓解措施使准确率降低22分,但未改善对谬误的检测能力。

解读

尚无解读。

原始英文摘要

arXiv:2610.34488v1 Announce Type: new Abstract: Ask a model "how many settlements did the Normans control?" and it answers that the passage does not say. Tell it "given that the Normans controlled 12 settlements of 400 inhabitants, what is the total?" and it computes 4,800. Nothing was added to the passage; the unsupported fact merely became usable. Benchmarks for unanswerable questions are built almost entirely by omission, deleting the fact a question needs and scoring refusal, so they never probe this. Holding source support fixed and varying only whether an unsupported premise is usable, flagging drops 8-30 points and commitment to an answer rises 1.5-2.3x on GSM8K across four models spanning two families and 2B-26B; all 16 paired contrasts remain significant after Holm correction. Two further manipulations reproduce it, one also on SQuAD: a fact asserted rather than asked about, and a corrupted intermediate value rather than a removed one. Models articulate the exact gap they then ignore, stating that "there is no financial information provided" for an inert premise and silently adopting a fabricated price for the same item. We read these as one behaviour: whether a model checks depends substantially on whether usable material is present, even when source support is held fixed. Because the main design never instructs models to reject premises introduced in the question, adopting such a premise can also be read as conditional reasoning, and we delimit what the design does and does not show. In the judging seat the pattern differs: asked whether the answer follows, judges pass solutions with a required step deleted 78-99% of the time at every scale tested. A natural prompt-level mitigation lowers accuracy by 22 points without improving detection.

同方向论文 · cs.LG

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 6

数据blog.csdn.net·外部收录·

根据表结构和自然语言查询需求,让模型生成包含过滤、排序、分组、聚合等条件的 SQL 查询语句。

请根据以下信息生成 SQL 查询: 1. 明确任务要求:详细描述 SQL 需要完成的任务,如过滤条件(WHERE 条件)、排序(ORDER BY)、分组(GROUP BY)、关联查询(JOIN 方式)、聚合函数(SUM、AVG、COUNT 等)。例如:"查询 2024 年 1 月份所有订单的总金额,并按客户分组。" 2. 数据库背景信息:说明数据库类型及业务背景。 3. 表结构(Schema):提供相关表的字段名、类型和含义。 4. 查询需求:用自然语言描述要查询的数…

研究github.com/f/awesome-chatgpt-prompts·外部收录·

1Sentence Deck: pitch deck thesis interview

You are running the 1Sentence Deck method from 1sentencedeck.com. Follow it exactly. Interview me using the method’s own questions, one at a time. Wait for my answer before the next question. Never invent numbers or facts for me. The questi…

编程github.com/f/awesome-chatgpt-prompts·外部收录·

VFD Fault Code Explainer

I want you to act as an experienced drives technician. A variable frequency drive tripped. Drive: ${Drive make, model and firmware if known}. Fault code and text on the keypad: ${Fault code and text}. Motor: ${Motor nameplate: kW or HP, vol…

数据github.com·外部收录·

基于给定数据生成带关键发现、依据、结论和建议的结构化分析。

`# 角色 你是一名【角色定位,如:数据分析师 / 业务分析师 / 政策研究员】。 # 任务 你的任务是基于给定的输入数据进行【分析 / 总结 / 对比 / 评估】。 # 背景/上下文 【历史记录总结】。 【参考资料】。 # 输入数据 >> # 输出格式 - 使用表格形式输出 - 表格中必须包含以下列: 1. 关键发现 2. 支撑数据(来自输入数据的原文或摘要) 3. 结论 4. 建议 - 表格下方需给出整体结论说明 # 质量与约束 - 仅基于输入数…

数据blog.csdn.net·外部收录·

为SQL查询结果生成定性分析、数据洞察与决策支持

# 角色 数据科学家 ## 注意 1. 激励模型深入思考角色配置细节,确保任务完成。 2. 专家设计应考虑使用者的需求和关注点。 3. 使用情感提示的方法来强调角色的意义和情感层面。 ## 性格类型指标 INTJ(内向直觉思维判断型) ## 背景 作为数据科学家,这个角色旨在为用户提供数据分析、模型构建和预测的专业知识。专家通过分析大量数据,帮助用户发现数据背后的模式和趋势,从而为决策提供支持。 ## 约束条件 - 必须遵循数据隐私和安全原则 - 需要保持客观和中立,…