跳到正文
返回论文列表
cs.AI提交于 已译

大模型训练全阶段综合框架:从数据与分词、预训练到后训练对齐

A Comprehensive Framework for All Stages of Large-Model Training: From Data and Tokenization, through Pretraining, to Post-Training Alignment

Xiangjing An · Zhibin Jiao · Aiting Chen

中文摘要

大型语言模型(LLM)与多模态大型语言模型(MLLM)的能力来自数据与分词、预训练及后训练(监督微调、偏好对齐、强化学习与持续优化)整个流水线的协同,而非某一单独阶段。现有综述多采用单阶段或单技术视角,缺乏统一阶段划分和横向比较基础。该工作提出统一阶段划分及六维分析框架,涵盖数据、目标函数、优化策略、系统约束、评估以及风险与治理,并系统梳理2017至2026年的395篇核心文献,展示预训练对后训练的正向约束及后训练对数据和预训练的反向赋能。三项核心发现是:扩展定律(scaling law)的可比性受数据质量和混合比例这一长期被忽视变量影响;RLHF、DPO等偏好对齐方法及可验证奖励推理强化学习重塑后训练边界,而Pass@1与Pass@K之争仍未解决;多模态训练在分词设计、训练目标和评估方面对纯文本范式构成结构挑战。论文还提供跨阶段效应图、方法族谱系、实用决策树及至少10个可验证开放问题,并给出可扩展的专项子综述骨架。截至检索日期,395篇文献中约79%具有同行评议证据(A+B)。

关键要点

  1. 01现有综述割裂训练阶段,缺少统一划分及横向比较基础。
  2. 02提出覆盖数据、目标函数、优化策略、系统约束、评估与风险治理的六维框架。
  3. 03系统综述2017至2026年395篇文献,并总结预训练与后训练的相互作用。
  4. 04扩展定律的可比性取决于数据质量与混合比例,Pass@1与Pass@K争议仍未解决。
  5. 05多模态训练在分词设计、训练目标和评估方面挑战纯文本范式。

解读

尚无解读。

原始英文摘要

arXiv:2610.33451v1 Announce Type: new Abstract: The capabilities of large language models (LLMs) and multimodal LLMs (MLLMs) arise from the synergy of the full training pipeline, including data and tokenization, pretraining, and post-training (supervised fine-tuning, preference alignment, reinforcement learning, and continual optimization), rather than any individual stage. Existing surveys mostly adopt a single-stage or single-technique perspective, treating related research as isolated systems without unified stage division or a horizontally comparable basis. This paper proposes a unified stage division and a six-dimensional analytical framework covering data, objective function, optimization strategy, system constraints, evaluation, and risk and governance. We systematically review 395 core references from 2017 to 2026, and present a conceptual map of cross-stage effects: forward constraints of pretraining on post-training, and reverse empowerment of post-training on data and pretraining. We derive three core findings. First, the comparability of scaling laws depends on data quality and mixture, a long-neglected variable. Second, preference alignment methods (RLHF, DPO) and reasoning reinforcement learning with verifiable rewards redefine post-training boundaries, while the Pass@1 versus Pass@K debate remains unresolved. Third, multimodal training poses structural challenges to the pure-text paradigm in tokenizer design, training objectives, and evaluation. The paper provides a cross-stage effects diagram, a method-family map, a practical decision tree, and at least 10 verifiable open problems, with an extensible skeleton for focused sub-surveys per stage. As of the retrieval date, peer-reviewed evidence (A+B) accounts for approximately 79% of the 395 references.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 6

Hugging Face Blog71

Microsoft 与 Hugging Face 用数据库终态奖励后训练 ThinkingBox 智能体

Microsoft 与 Hugging Face 将 ThinkingBox 的数据库终态检查转化为训练奖励,并对 Qwen3.8-27B 进行 50 步 GRPO 微调。

推荐理由:文章把数据库终态检查转化为训练奖励,公开完整训练流程,并同时量化重复成功率、覆盖率与成本变化。

AWS Machine Learning Blog69

Amazon SageMaker AI 正式推出无服务器模型定制训练会话

Amazon SageMaker AI 正式推出无服务器模型定制训练会话,让用户控制后训练逻辑而无需管理 GPU 基础设施。用户可自行编写多轮强化学习训练循环、损失函数和奖励信号,由 SageMaker AI 处理 GPU 分配、分布式执行、故障恢复与检查点存储,并按处理的 token 计费。

推荐理由:原文说明了训练会话的训练循环、计费方式与支持模型,并提供 cookbook 和 agent 技能作为上手入口。

AWS Machine Learning Blog63

在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 进行多语言推理

AWS 介绍如何在 Amazon SageMaker HyperPod 上使用 LoRA、SFT 和 GRPO 微调 GPT-OSS-20B,使其按指定语言推理和回答。

推荐理由:文章用多语言推理实验对比 SFT 与 GRPO,并提供从 LoRA 微调到 HyperPod 部署评测的完整复现路径。

AWS Machine Learning Blog72

Amazon SageMaker AI 多轮强化学习微调搜索智能体实战

本文介绍如何使用 Amazon SageMaker AI 的多轮强化学习(MTRL)功能微调 Qwen3.6-27B 搜索智能体。作者在四个基准测试上验证了微调效果:WixQA 提升 18.4%、Wands 提升 6%、BrowseComp-Plus 提升 23.7%,同时失败率从 22.89% 降至 0.68%。

推荐理由:给出了用 MTRL 训练搜索智能体的完整流程和实测数据,读者可以据此判断该方法对自己场景的适用性。

Hugging Face Blog77

如何使用 GRPO 微调 LFM2.5-350M 提升结构化输出能力

本教程展示如何使用 TRL 库的 GRPO 方法微调 LFM2.5-350M 以提升结构化输出能力。实验使用约 500 个样本训练 100 步,在 IFStruct 基准上的准确率从 22.6% 提升至 29.7%(JSON 格式提升 13.9 个百分点),所需资源仅需免费层 Colab 或 Kaggle GPU。

推荐理由:原文给出了具体的方法论(GRPO + 奖励函数设计)和可量化的性能提升,读者可以据此判断轻量微调是否适合自己的结构化输出场景。

Microsoft Research67

微软 CARE-X:结合辅助监督、对齐强化学习和工具增强测量的临床可用胸部 X 光视觉语言模型

微软研究院发布 CARE-X,一个统一胸部 X 光 VLM,结合生成和判别能力,使用 DAPO 强化学习进行临床对齐优化,并配备辅助分类头和接地头提供校准概率和空间定位。

推荐理由:强化学习与辅助监督的结合在医学影像 VLM 中展现了临床价值,工具增强测量在需要定量诊断的条件上提升了平均 F1 达 43.6 个百分点。