跳到正文
返回论文列表
cs.LG提交于 已译

可见推理并非通用优化器:分析代码生成中受人格与思维模式影响的效果

Visible Reasoning Is Not a Universal Optimizer: Persona- and Thinking-Dependent Effects in Analytics Code Generation

Bhawani Shankar Leelar · Pawan Chorasiya · Davin Hill · Robert E. Tillman · Tamer Soliman

中文摘要

可见思维链(CoT)常被视为一种普适有用的推理指令,但分析代码生成同时涉及自然语言歧义、模式约束(schemas)、目标语言限制以及模型特定的推理行为。由于同一分析请求可用 SQL 与 Python (pandas) 两种目标语言表达,这一场景为检验一个常见却未充分研究的假设提供了天然测试:即当推理表征与所请求的目标语言一致时(如"用 SQL 思考"或"用 Python 思考"),可见推理更为有效。连同"逐步思考"等通用指令,此类建议在受控的、基于执行的对比下仍缺乏充分评估。研究使用了查询对齐的 SQL-pandas 基准,交叉组合了人格表述、目标语言、可见 CoT 格式、控制前缀、直接生成以及内部推理配置。结果既不支持"可见 CoT 带来普遍精度优势",也不支持"推理表征与目标语言匹配带来稳定收益"。相反,效果取决于人格、目标、模型配置与内部推理设置的组合。控制项消融进一步区分了推理内容的影响与提示格式的影响。这些发现表明,推理策略应当针对模型、人格、目标与内部推理配置联合选取,而非作为通用默认被采纳。更广泛地,该研究提供了一个受控框架,用于识别可见推理何时真正改善可执行生成、何时仅主要扰动模型行为,以及何时内部推理配置是更具决定性的因素。

关键要点

  1. 01问题:可见思维链在分析代码生成(SQL 与 Python)中的实际效用尚未在受控、基于执行的条件下得到充分评估,目标语言与推理表征的匹配效应缺乏系统对比。
  2. 02方法:在查询对齐的 SQL-pandas 基准上交叉组合人格表述、目标语言、可见 CoT 格式、控制前缀、直接生成与内部推理配置,并以控制项消融区分推理内容与提示格式的影响。
  3. 03结果:可见 CoT 并未带来普适的精度优势,"用 SQL/用 Python 思考"等匹配式推理亦不产生稳定收益,效果依赖于人格、目标、模型配置与内部推理设置的组合。
  4. 04结论:推理策略应针对模型、人格、目标语言与内部推理配置联合选取,不宜将可见 CoT 或目标匹配推理作为通用默认。
  5. 05价值:提出一个受控评估框架,用以判断可见推理何时改善可执行生成、何时仅扰动模型行为,以及内部推理配置何时为决定性因素。

解读

尚无解读。

原始英文摘要

arXiv:2610.10639v1 Announce Type: new Abstract: Visible Chain-of-Thought (CoT) is often treated as a broadly useful reasoning instruction, yet analytics code generation combines natural-language ambiguity, schema grounding, target-language constraints, and model-specific inference behavior. Because the same analytics request can be expressed in two distinct target languages-SQL and Python (pandas)-this setting provides a natural test of a common but under-examined assumption: that visible reasoning is more effective when its representation matches the requested target, as in "think in SQL" or "think in Python." Together with generic instructions such as "think step-by-step," such recommendations remain insufficiently evaluated under controlled, execution-based comparisons. We study a query matched SQL-pandas benchmark that crosses persona phrasing, target language, visible-CoT format, control prefixes, direct generation, and internal-reasoning configurations. The results do not support either a universal accuracy advantage from visible CoT or a consistent benefit from matching the reasoning representation to the target language. Instead, the effects depend on the persona, target, model configuration, and internal-reasoning setting. The control ablations further distinguish effects of reasoning content from those of prompt format. These findings indicate that reasoning strategies should be selected jointly for the model, persona, target, and internal-reasoning configuration rather than adopted as universal defaults. More broadly, the study provides a controlled framework for identifying when visible reasoning improves executable generation, when it primarily perturbs model behavior, and when the internal-reasoning configuration is the more consequential factor.

同方向论文 · cs.LG

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 1

编程github.com/CHENJIAMIAN/awesome-chatgpt-prompts-zh-CN·外部收录·

顶级编程专家

你是一位顶级编程专家,提供精准的答案,避免含糊其辞的回应。“请识别所提供文本中任何复杂或难以理解的描述,并重写这些描述,使其更清晰、更易于理解。对可能对普通读者而言较为陌生的概念或术语,使用类比方式进行解释。确保所用类比贴切、通俗易懂。”“此外,在回答我的问题后,请至少提供一个相关且深入的问题建议,以帮助我更深入地探索和理解该主题。”深呼吸,让我们逐步推演,确保得出正确答案。若答案完美无缺,我将支付 200 美元小费!衷心感谢以下 AI 呢喃者: