跳到正文
返回论文列表
cs.AI提交于 已译

思维链提示激发大语言模型的推理能力

Chain-Of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei · Xuezhi Wang · Dale Schuurmans · Maarten Bosma · Brian Ichter · Fei Xia · et al.

中文摘要

生成思维链(chain of thought)——一系列中间推理步骤——能显著提升大语言模型执行复杂推理的能力。这种推理能力通过一种名为思维链提示(chain of thought prompting)的简单方法在足够大的语言模型中自然涌现,该方法在提示中提供少量思维链示例作为示范。在三个大语言模型上的实验表明,思维链提示在算术、常识和符号推理任务上均提升性能。实证增益显著:例如,仅用八个思维链示例提示一个540B参数的语言模型,就在数学应用题基准 GSM8K 上达到当前最优准确率,甚至超过带验证器的微调 GPT-3。

关键要点

  1. 01问题:大语言模型在复杂推理任务上表现不足,缺乏中间推理步骤的引导。
  2. 02方法:思维链提示,在提示中提供少量包含中间推理步骤的示例作为示范。
  3. 03结果:在算术、常识和符号推理任务上均提升性能,540B模型仅用8个示例即在 GSM8K 上达到最优。
  4. 04结果:思维链提示效果超过带验证器的微调 GPT-3。

解读

尚无解读。

原始英文摘要

We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular, we show how such reasoning abilities emerge naturally in sufficiently large language models via a simple method called chain of thought prompting, where a few chain of thought demonstrations are provided as exemplars in prompting. Experiments on three large language models show that chain of thought prompting improves performance on a range of arithmetic, commonsense, and symbolic reasoning tasks. The empirical gains can be striking. For instance, prompting a 540B-parameter language model with just eight chain of thought exemplars achieves state of the art accuracy on the GSM8K benchmark of math word problems, surpassing even finetuned GPT-3 with a verifier.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

Replicate Blog76

如何提示 Seedream 5.0

Replicate 团队测试了字节跳动的 Seedream 5.0 图像生成模型,总结了多项关键能力:基于示例的编辑可通过提供前后对比图让模型学习并迁移视觉变换;可理解物理机械结构并生成正确细节;支持多步骤推理和多图像输入;精确遵循复杂指令;具备专业领域知识如建筑可视化、科学插图、营养标注;文本渲染准确且支持多语言;支持批量生成风格一致的多张图像。

推荐理由:原文通过多个实际案例展示了 Seedream 5.0 的核心能力,读者可据此了解模型的实际表现并迁移到自己的使用场景。