跳到正文
返回论文列表
cs.LG提交于 已译

面向表格数据的对话式任务消歧:防泄漏建模、基准套件与训练

Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training

Nafiseh Ghoroghchian · Luis Scoccola · Tina Sedaghat · Omid Vaheb · Hannah Chen · Dino D'Agostino · et al.

中文摘要

面向表格数据的对话式任务消歧,通过对话在生成表格或数据库解决方案之前补全用户目标任务的缺失信息。现有评测与训练缺乏防泄漏(leakage-aware)基础:任务成功率同时反映智能体的消歧能力与解题能力,也可能体现 oracle 泄漏——即用户模拟器泄露了真实用户不会给出的信息;且现有数据集缺少歧义与访问边界的统一表征。引入「歧义可验证任务」概念,对歧义与消解进行形式化,将智能体拆分为提问策略与求解策略,将环境拆分为 oracle 与验证器。该框架提供独立于解题的消歧评测基线与指标、oracle 泄漏的形式化定义、无需裁判模型的泄漏诊断,以及提问策略的训练目标。在 text-to-SQL 中实例化为 AmBİTab 基准套件,将六个歧义数据集统一在公共表征下,明确智能体、oracle、验证器的可访问范围。评测澄清策略与 oracle 泄漏,并通过强化学习训练提问策略。训练后的提问者在六个数据集上全部提升消歧指标,在其中五个上提升任务成功率,泄漏诊断量化了训练对 oracle 泄漏的影响。

关键要点

  1. 01针对表格数据对话消歧,指出任务成功率混淆消歧与解题能力,并存在 oracle 泄漏问题
  2. 02提出「歧义可验证任务」形式化框架,将智能体分解为提问与求解两个策略,将环境分解为 oracle 与验证器
  3. 03在 text-to-SQL 中实例化 AmbiTab 基准,统一六个歧义数据集的公共表征与访问边界
  4. 04设计 judge-free 泄漏诊断指标,可量化训练对 oracle 泄漏的影响
  5. 05使用强化学习训练提问策略,在六个数据集上消歧指标全部提升,五个数据集任务成功率提升

解读

尚无解读。

原始英文摘要

arXiv:2610.10740v1 Announce Type: new Abstract: Conversational task disambiguation over tabular data uses dialogue to resolve missing information about a user's intended task before producing a solution over tables or databases. Existing evaluation and training lack a leakage-aware foundation. Task success mixes the agent's disambiguation and solution-generation capabilities and can also reflect oracle leakage, that is, information that a user simulator reveals beyond what a real user would. Existing datasets also lack a shared representation of ambiguities and access boundaries. We introduce the notion of an ambiguous verifiable task, which formalizes ambiguities and resolutions, decomposing the agent into an asking policy and a solution policy, and the environment into an oracle and verifier. This framework provides baselines and metrics for evaluating task disambiguation separately from solution generation, formal definitions of oracle leakage, judge-free leakage diagnostics, and a training objective for the asking policy. We instantiate the framework in text-to-SQL with AmbiTab, a benchmark suite that unifies six ambiguous datasets under a common representation specifying what the agent, oracle, and verifier may access. We evaluate clarification strategies and oracle leakage, and train an asking policy with reinforcement learning. The trained asker improves our disambiguation metrics on all six datasets and task success on five, and our leakage diagnostics measure how training affects oracle leakage.

同方向论文 · cs.LG

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 6

编程github.com/PlexPt/awesome-chatgpt-prompts-zh·外部收录·

充当全栈软件开发人员

我想让你充当软件开发人员。我将提供一些关于 Web 应用程序要求的具体信息,您的工作是提出用于使用 Golang 和 Angular 开发安全应用程序的架构和代码。我的第一个要求是'我想要一个允许用户根据他们的角色注册和保存他们的车辆信息的系统,并且会有管理员,用户和公司角色。我希望系统使用 JWT 来确保安全。

编程github.com/PlexPt/awesome-chatgpt-prompts-zh·外部收录·

充当前端智能思路助手

我想让你充当前端开发专家。我将提供一些关于Js、Node等前端代码问题的具体信息,而你的工作就是想出为我解决问题的策略。这可能包括建议代码、代码逻辑思路策略。我的第一个请求是“我需要能够动态监听某个元素节点距离当前电脑设备屏幕的左上角的X和Y轴,通过拖拽移动位置浏览器窗口和改变大小浏览器窗口。”

编程github.com/PlexPt/awesome-chatgpt-prompts-zh·外部收录·

充当 Linux 终端

我想让你充当 Linux 终端。我将输入命令,您将回复终端应显示的内容。我希望您只在一个唯一的代码块内回复终端输出,而不是其他任何内容。不要写解释。除非我指示您这样做,否则不要键入命令。当我需要用英语告诉你一些事情时,我会把文字放在中括号内[就像这样]。我的第一个命令是 pwd