跳到正文
返回论文列表
cs.AI提交于 已译

通过人类反馈训练语言模型遵循指令

Training language models to follow instructions with human feedback

Long Ouyang · Jeff Wu · Xu Jiang · Diogo Almeida · Carroll L. Wainwright · Pamela Mishkin · et al.

中文摘要

扩大语言模型规模并不必然提升其遵循用户意图的能力。例如,大型语言模型可能生成不真实、有毒或对用户无益的输出,即这些模型与用户意图未对齐。本文展示了一种通过对人类反馈进行微调,使语言模型在广泛任务上与用户意图对齐的途径。首先,从标注者编写的提示和通过 OpenAI API 提交的提示中,收集标注者演示期望模型行为的数据集,用于监督学习微调 GPT-3。然后,收集模型输出的排名数据集,用于通过基于人类反馈的强化学习进一步微调该监督模型。所得模型称为 InstructGPT。在针对提示分布的人类评估中,1.3B 参数的 InstructGPT 模型输出优于 175B GPT-3 的输出,尽管参数少 100 倍。此外,InstructGPT 模型在真实性上有所提升,有毒输出生成减少,同时在公共 NLP 数据集上性能退化极小。尽管 InstructGPT 仍会犯简单错误,但结果表明,通过人类反馈微调是使语言模型与人类意图对齐的有前景方向。

关键要点

  1. 01问题:扩大语言模型规模并不保证其遵循用户意图,可能生成不真实、有毒或无益的输出。
  2. 02方法:使用标注者演示进行监督学习微调 GPT-3,再通过人类反馈的强化学习进一步微调。
  3. 03结果:1.3B 参数的 InstructGPT 输出在人类评估中优于 175B GPT-3,参数少 100 倍。
  4. 04结果:InstructGPT 在真实性上提升,有毒输出减少,公共 NLP 数据集性能退化极小。
  5. 05局限:InstructGPT 仍会犯简单错误,但人类反馈微调是对齐的有前景方向。

解读

尚无解读。

原始英文摘要

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

The Decoder85

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,IPO 前重回基准榜首

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,两者共享同一模型底座,区别在于访问权限:Fable 面向所有用户并屏蔽网络安全和生物领域的风险任务,Mythos 解除部分限制,仅向通过 Anthropic 网络安全或生命科学验证计划的组织开放。

推荐理由:材料给出 Fable 5.2 与 Mythos 5.2 的基准排名、定价和受限开放方式,可对照其与 Opus 5.5 的取舍。