cs.CL提交于 2026-10-27已译

有用的多样性还是幻觉式变化？面向电子商务搜索的人格条件化合成查询生成

Useful Diversity or Hallucinated Variety? Persona-Conditioned Synthetic Query Generation for E-Commerce Search

Filippos Ventirozos · Tom Armitage · Mahmoud Oshagh · Peter A. Appleby · Matthew Shardlow

中文摘要

arXiv:2610.35102v1 公告类型：新。合成监督可为新搜索领域的语义解析器提供启动信号，但只有生成结果忠实于结构化意图时，提示诱导的多样性才有价值。面向冷启动电子商务搜索，研究在包含 47 个字段的英国汽车领域模式上，用 6 个 LLM 和 9 类人格条件化提示族生成了 118,098 个合成查询对，并与 1,214 条人工标注查询及 15,304 条生产查询比较。结果显示，IPIP 人格组合在四组匹配对照中均提升了解析器 F1（Holm 校正后 p<.001），且三个组合在完整的 2^3 网格上均具有正向主效应。句法条件化是使生成结果接近真实流量的关键，同时也带来词汇多样性。对齐散度 sKL 衡量拟合于合成查询和人工标注查询的 von Mises-Fisher 分布之间的差异，可作为无需标签预测解析器 F1 的代理指标；相对于为模拟购物者场景编写的真实查询，其相关系数为 ρ=-0.917，数值越低越接近。一个经盲审作者核验的 LLM 委员会对所有解析器均遗漏的 927 条查询进行分流，标记出 37% 为幻觉。遗漏约束是主要问题；四个包含句法条件的提示族幻觉占比最高，为 38% 至 42%，而仅使用 IPIP 时最低，为 28%。

关键要点

01研究检验人格条件化合成查询能否在忠实结构化意图的同时支持冷启动语义解析器
026 个 LLM、9 类提示族生成 118,098 个查询对，IPIP 组合显著提升解析器 F1
03句法条件化最能拉近合成查询与真实流量，并增加词汇多样性
04sKL 可作为无标签代理指标预测解析器 F1，与人工查询的相关系数为 ρ=-0.917
05LLM 委员会判定遗漏查询中 37% 为幻觉，句法提示族幻觉率最高达 42%

解读

尚无解读。

原始英文摘要

arXiv:2610.35102v1 Announce Type: new Abstract: Synthetic supervision can bootstrap semantic parsers in new search domains, but prompt-induced diversity is useful only when generations are faithful to the structured intent. We explore this for cold-start e-commerce search: 118,098 synthetic pairs produced by 6 LLMs with 9 persona-conditioned prompt families on a 47-field UK automotive schema, against 1,214 human-annotated and 15,304 production queries. We show that the IPIP personality bundle improves parser F1 in all four matched contrasts (Holm-corrected $p<.001$), and all three bundles have a positive main effect over the complete $2^3$ grid. Syntax conditioning is the axis that moves generations towards real traffic. It also induces lexical diversity. Alignment sKL, the divergence between von Mises-Fisher distributions fitted to synthetic and human-annotated queries, is an unlabelled proxy for parser F1 ($\rho=-0.917$ against human queries written for simulated shopper scenarios, lower is closer). An LLM committee, checked against a blinded author pass, triages the 927 queries missed by every parser and labels 37% as hallucinated. Dropped constraints dominate. The four syntax-bearing families have the largest hallucinated shares, 38 to 42%, while IPIP alone has the lowest at 28%.