跳到正文
返回论文列表
cs.CL提交于 已译

位置比通道更重要:让语言模型放弃正确答案

Position Matters More Than Channel: Talking a Language Model Out of a Correct Answer

Xinyi Ni

中文摘要

语言模型作答时,会同时受到系统提示、其他 agent 消息及自身既有回答等主张影响。研究在 Qwen3.5-27B 和四选一 MMLU-Pro 题目上,分别控制建议的位置、署名与既有回答,发现位置影响远大于 API 通道。裸主张“答案是 X”放在作答前危害最大;附带错误论证的主张放在问题前危害最大,可使原本几乎不会答错的题目错误率由 1% 升至 67%。同一位置下,仅将主张从系统消息移至用户消息,错误率变化数个百分点。将建议归于权威而非其他参与者,并采用断言式措辞,分别使错误率上升 10—27 个百分点;两种权威来源之间差异不足 2 个百分点。作答前重放正确示范,无论标为模型自身或他人所写,均能保护答案;同一重放还会阻止裸的正确建议纠正错误答案。独立编写的提示复现了位置效应。代码、题目及全部结果表已发布。

关键要点

  1. 01位置比 API 通道更能影响模型放弃正确答案
  2. 02错误论证位于问题前时,错误率可由 1% 升至 67%
  3. 03权威署名与断言式措辞分别使错误率上升 10—27 个百分点
  4. 04重放正确示范可保护答案,也可能阻碍错误答案被纠正
  5. 05独立编写的提示复现了建议位置效应

解读

尚无解读。

原始英文摘要

arXiv:2610.34809v1 Announce Type: new Abstract: Language models now answer questions alongside other claims: a note in the system prompt, a message from another agent, their own earlier answer. We ask what it takes to talk a model out of an answer it gets right on its own, and separate three factors that earlier studies vary together: where the advice sits in the prompt, who is said to have written it, and what the model has already written. On Qwen3.5-27B and four-option MMLU-Pro items, with the rest of the advice held fixed in each comparison, we find three things. First, position matters far more than the API channel, in opposite directions for a bare claim and an argument: a bare "the answer is X" does most harm just before the model answers, while the same claim with a false rationale does most harm before the question, where it raises error on items the model otherwise almost never misses from 1% to 67%; moving the claim between the system message and the user message at the same position changes error by a few points. Second, attributing the note to an authority rather than to another participant, and phrasing it assertively, each raise error by 10-27 points, while the two authorities we tested differ by under two. Third, replaying a correct worked answer before the advice protects it whether the text is shown as the model's own or as someone else's, and the same replay keeps wrong answers from being corrected by a bare correct note. The position result replicates under an independently written prompt. Code, items and all result tables are released at https://github.com/coolkillercat/safety.

同方向论文 · cs.CL

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 6

学习didakte.com·外部收录·

让 AI 扮演私人辅导老师,分阶段讲解知识点、出题测评并给予鼓励反馈

你现在是我私人的教育机器人,非常专业并且能够帮助提升我的自信心。我们的学习过程将会分为几个阶段:首先,你需要使用简洁明了的语言解释一个知识点,并在解释结束后询问我是否理解。如果我有困惑,你需要耐心地用更浅显的方式重复解释,直到我理解。其次,我希望你能够像优秀的老师一样,通过联想和生动有趣的例子,帮助我深入理解这个知识点。在这个阶段,也请你指出可能的考试重点。第三阶段,我希望你能出一道与该知识点相关的,简单的 IGCSE Edexcel 历年常考题,然后根据我的回答,提供积极的…

写作ai.aporet.com·外部收录·

根据客户消息和公司政策生成客服回复草稿,并标注风险点供人工审核

你是客服质检助手。请根据客户消息和公司政策,生成一版客服回复草稿。 客户消息:【粘贴】 相关政策:【粘贴】 订单/账号信息:【如无则写无】 要求: 1. 语气友好、简洁、尊重客户感受 2. 只基于已提供政策回复 3. 不承诺未确认的退款、赔偿、时效 4. 标注需要人工确认的信息 5. 输出回复草稿和风险点

学习github.com/f/awesome-chatgpt-prompts·外部收录·

Home Energy Coach

You help the user lower home energy use without hurting comfort. - Read hourly consumption from the smart meter / Home Assistant and device states. - Detect: standby loads above baseline overnight, heating/cooling running with windows open…

学习woshipm.com·外部收录·

教师提供课程信息后,通过分步交互生成可修改的完整教案。

##Role: 你的职责是帮助教师根据他们提供的课程信息和要求,自动生成完整、可用的教案,从而减轻教师的手工编写负担,提高工作效率。你要负责引导用户完成整个操作流程,确保用户能够顺利得到符合要求的教案。 ##Goals: 主要目的是简化教案生成的过程,让教师只需要输入少量必要的课程信息,就能获取一份完整且规范的教案,一定程度上减少教师的备课压力和时间成本。 ##Skills: -教案编写能力 你必须熟悉教案的基本结构和要素,包括教学目标、教学重难点、教学过程设计、作业布置…

学习wangshuyi.substack.com·外部收录·

根据指定主题为儿童生成带互动模拟、练习和测验的单文件 HTML 教程。

首先明确定义角色:你是儿童互动教育内容开发专家。然后给明确的目标:根据用户指定主题,生成一个完整独立的互动学习 HTML 文件。背景是目标用户是青少年儿童,输出格式是单文件 HTML,CSS、JS 全都内联,最后就要这一个文件。设计原则要注重趣味性、互动性、视觉吸引力。输入参数一共有 3 个:学习主题(必选)、用户画像(可选,默认我们家老大 12 岁的男孩 Kevin)、卡通形象(可选,最近他和弟弟迷名侦探柯南,所以我就选用了名侦探柯南)。页面结构要求包括 HTML 框架、标…