跳到正文
返回论文列表
cs.LG提交于 已译

小语言模型的GRPO训练动态

GRPO Training Dynamics for Small Language Models

Rajat Ghosh · Vaishnavi Bhargava · Henry Wong · Aryan Singhal · Debojyoti Dutta

中文摘要

Group Relative Policy Optimization(GRPO)已成为推理密集型任务的内存高效强化微调(RFT)技术。然而,GRPO在小语言模型(SLM)上的训练动态人们了解甚少,限制了其在开放和资源受限环境中的可靠采用和可复现性。本工作在单节点8xA100计算预算下,对1.5B到7B参数的SLM进行GRPO微调的系统性研究。研究覆盖多个模型家族和推理领域,包括数学、编码和科学多选问答(MCQ)。在这些设置中,分析group size如何影响策略收敛、训练稳定性和下游基准性能。进一步描述GRPO训练期间的tensor级更新动态,并研究LoRA目标模块和层的选择是否能改善GRPO调优模型的性能。虽然初始GRPO调优模型在约80%的数学基准评估中优于基线模型,但在MCQ和代码推理任务上表现有限。根据机制评估结果,改进了LoRA和reward-shaping配置以改善后两个领域的性能。这些发现为SLM的GRPO训练提供了实践指导。

关键要点

  1. 01在单节点8xA100计算预算下,对1.5B-7B参数SLM进行GRPO微调的系统性研究,覆盖多个模型家族和推理领域
  2. 02分析group size对策略收敛、训练稳定性和下游基准性能的影响
  3. 03初始GRPO模型在约80%数学基准评估中优于基线模型,但在MCQ和代码推理任务上能力有限
  4. 04通过改进LoRA和reward-shaping配置改善了MCQ和代码推理任务的性能
  5. 05提供SLM上GRPO训练的实践指导,包括tensor级更新动态和LoRA模块选择建议

解读

尚无解读。

原始英文摘要

arXiv:2609.39321v1 Announce Type: new Abstract: Group Relative Policy Optimization (GRPO) has emerged as a memory-efficient reinforcement fine-tuning (RFT) technique for reasoning-intensive tasks. How- ever, GRPO training dynamics on small language models (SLMs) remain poorly understood, limiting its reliable adoption and reproducibility in open and resource- constrained environments. In this work, we present a systematic study of GRPO fine-tuning for SLMs ranging from 1.5B to 7B parameters under a practical single- node 8xA100 compute budget. Our study spans multiple model families and reasoning domains, including mathematics, coding, and multiple-choice question answering (MCQ) in science. Across these settings, we analyze how group size affects policy convergence, training stability, and downstream benchmark per- formance. We further characterize tensor-level update dynamics during GRPO training and investigate whether the choice of LoRA target modules and layers can improve the performance of GRPO-tuned models. While our initial GRPO-tuned models outperform their base counterparts on approximately 80% of mathematical benchmark evaluations, they demonstrate limited capability on MCQ and code reasoning tasks. Guided by our mechanistic evaluations, we refined our LoRA and reward-shaping configurations to improve performance in latter domains. These findings provide practical guidance for GRPO training for SLMs.

同方向论文 · cs.LG

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 3

AWS Machine Learning Blog69

Amazon SageMaker AI 正式推出无服务器模型定制训练会话

Amazon SageMaker AI 正式推出无服务器模型定制训练会话,让用户控制后训练逻辑而无需管理 GPU 基础设施。用户可自行编写多轮强化学习训练循环、损失函数和奖励信号,由 SageMaker AI 处理 GPU 分配、分布式执行、故障恢复与检查点存储,并按处理的 token 计费。

推荐理由:原文说明了训练会话的训练循环、计费方式与支持模型,并提供 cookbook 和 agent 技能作为上手入口。

Hugging Face Blog77

如何使用 GRPO 微调 LFM2.5-350M 提升结构化输出能力

本教程展示如何使用 TRL 库的 GRPO 方法微调 LFM2.5-350M 以提升结构化输出能力。实验使用约 500 个样本训练 100 步,在 IFStruct 基准上的准确率从 22.6% 提升至 29.7%(JSON 格式提升 13.9 个百分点),所需资源仅需免费层 Colab 或 Kaggle GPU。

推荐理由:原文给出了具体的方法论(GRPO + 奖励函数设计)和可量化的性能提升,读者可以据此判断轻量微调是否适合自己的结构化输出场景。

Hugging Face Blog68

Async GRPO with LoRA 跨 Hugging Face Jobs 分布式训练实战

AsyncGRPOTrainer(TRL v1.14)现在支持训练 LoRA adapter 并仅同步该 adapter 到 vLLM,无需跨节点 NCCL 通信。

推荐理由:给出了在 Hugging Face Jobs 上用 Storage Bucket 做分布式 LoRA 训练的完整方案,包括架构、代理设计和优化步骤,读者可以直接参考复现。