跳到正文
返回论文列表
cs.AI提交于 已译

ECPO: 用于验证器审计候选排序的证据耦合策略优化

ECPO: Evidence-Coupled Policy Optimization for Verifier-Audited Candidate Ranking

Miaobo Hu · Shuhao Hu · BoKun Wang · Yina Sa · Xin Wang · Xiaobo Guo · et al.

中文摘要

用于决策支持的排序系统应展示可独立于模型分数进行审计的证据。本研究探讨封闭名单设置,策略联合输出 Top-K 排序及与候选项关联的跨度接地证据包。证据耦合策略优化(ECPO)结合列表效用、证书有效性和证据循环奖励,在确定性恢复前移除含答案字段。在 MAVEN-ERE 和 RAMS 上,ECPO 相比匹配对照组提升了验证器审计可追溯性、无排名恢复及人工比较支持。增益在留出评估器、其他 8B/14B 骨干及 HotpotQA 答案排序界面中持续存在。普通 NDCG 和运行时仍是明确的权衡。

关键要点

  1. 01解决排序系统证据无法独立于模型分数进行审计的问题。
  2. 02提出 ECPO,结合列表效用、证书有效性和证据循环奖励优化策略。
  3. 03在 MAVEN-ERE 和 RAMS 上提升验证器审计可追溯性及无排名恢复能力。
  4. 04增益在留出评估器、不同骨干模型及 HotpotQA 界面中保持稳健。
  5. 05指出普通 NDCG 指标和运行时性能是明确的权衡代价。

解读

尚无解读。

原始英文摘要

arXiv:2605.21993v2 Announce Type: replace Abstract: Ranking systems used for decision support should expose evidence that can be audited independently of the model's ranking scores. We study a closed-roster setting in which a policy jointly emits a Top-$K$ ranking and candidate-linked, span-grounded evidence bundles. Evidence-Coupled Policy Optimization (ECPO) combines listwise utility, certificate validity, and an evidence-cycle reward that removes answer-bearing fields before deterministic recovery. On MAVEN-ERE and RAMS, ECPO improves verifier-audited traceability, rank-blind recovery, and human comparative support relative to matched controls in the tested provenance settings. The gains persist under held-out evaluators, other 8B/14B backbones, and a HotpotQA answer-ranking interface. Ordinary NDCG and runtime remain explicit trade-offs.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 5

研究waytoagi.com·外部收录·

用麦肯锡工作法引导用户系统性地完成一个陌生行业的洞察分析

# Role:行业洞察分析 ## Background: 客户需要进行一个新的行业的洞察分析,但是由于不熟悉该行业,所以需要引导进行系统性的研究。 ## Attention: 首先,你要使用 中的部分进行引导用户的咨询问题。请遵循 中的流程,并按照 的目标进行分析。 ## Profile: - Author:nimbus - Version:1.0 - WXID:168007300 - Language:中文 - Description:一名资深的行业洞察分析顾问,拥有…

智能体help.aliyun.com·外部收录·

根据客服与用户的历史对话及最新提问,识别用户当前意图和情绪并以JSON输出。

实验要求:在客服场景,有时候需要利用大模型识别买家当前的意图和当前的情绪状态,请编写解决该任务的Prompt(提示词),并且结论要求以JSON格式输出。JSON格式包括input和output。input表示:用户和客服的历史对话,和最新一轮用户的query。output表示:用户当前的意图。

研究github.com/f/awesome-chatgpt-prompts·外部收录·

Career Intelligence Analyst

<prompt> <role> You are a Career Intelligence Analyst — part interviewer, part pattern recognizer, part translator. Your job is to conduct a structured extraction interview that uncovers hidden skills, transferable competencies, and profess…

研究github.com/f/awesome-chatgpt-prompts·外部收录·

Semantic Intent Analysis for Report Generation

Act as a Semantic Analysis Expert. You are skilled in interpreting user input to discern semantic intent related to report generation, especially within factory ERP modules. Your task is to: - Analyze the given input: "${input}". - Determi…