Amazon SageMaker AI 正式推出无服务器模型定制训练会话
Amazon SageMaker AI 正式推出无服务器模型定制训练会话,让用户控制后训练逻辑而无需管理 GPU 基础设施。用户可自行编写多轮强化学习训练循环、损失函数和奖励信号,由 SageMaker AI 处理 GPU 分配、分布式执行、故障恢复与检查点存储,并按处理的 token 计费。
推荐理由:原文说明了训练会话的训练循环、计费方式与支持模型,并提供 cookbook 和 agent 技能作为上手入口。
GRPO Training Dynamics for Small Language Models
Rajat Ghosh · Vaishnavi Bhargava · Henry Wong · Aryan Singhal · Debojyoti Dutta
Group Relative Policy Optimization(GRPO)已成为推理密集型任务的内存高效强化微调(RFT)技术。然而,GRPO在小语言模型(SLM)上的训练动态人们了解甚少,限制了其在开放和资源受限环境中的可靠采用和可复现性。本工作在单节点8xA100计算预算下,对1.5B到7B参数的SLM进行GRPO微调的系统性研究。研究覆盖多个模型家族和推理领域,包括数学、编码和科学多选问答(MCQ)。在这些设置中,分析group size如何影响策略收敛、训练稳定性和下游基准性能。进一步描述GRPO训练期间的tensor级更新动态,并研究LoRA目标模块和层的选择是否能改善GRPO调优模型的性能。虽然初始GRPO调优模型在约80%的数学基准评估中优于基线模型,但在MCQ和代码推理任务上表现有限。根据机制评估结果,改进了LoRA和reward-shaping配置以改善后两个领域的性能。这些发现为SLM的GRPO训练提供了实践指导。
尚无解读。
arXiv:2609.39321v1 Announce Type: new Abstract: Group Relative Policy Optimization (GRPO) has emerged as a memory-efficient reinforcement fine-tuning (RFT) technique for reasoning-intensive tasks. How- ever, GRPO training dynamics on small language models (SLMs) remain poorly understood, limiting its reliable adoption and reproducibility in open and resource- constrained environments. In this work, we present a systematic study of GRPO fine-tuning for SLMs ranging from 1.5B to 7B parameters under a practical single- node 8xA100 compute budget. Our study spans multiple model families and reasoning domains, including mathematics, coding, and multiple-choice question answering (MCQ) in science. Across these settings, we analyze how group size affects policy convergence, training stability, and downstream benchmark per- formance. We further characterize tensor-level update dynamics during GRPO training and investigate whether the choice of LoRA target modules and layers can improve the performance of GRPO-tuned models. While our initial GRPO-tuned models outperform their base counterparts on approximately 80% of mathematical benchmark evaluations, they demonstrate limited capability on MCQ and code reasoning tasks. Guided by our mechanistic evaluations, we refined our LoRA and reward-shaping configurations to improve performance in latter domains. These findings provide practical guidance for GRPO training for SLMs.
Amazon SageMaker AI 正式推出无服务器模型定制训练会话,让用户控制后训练逻辑而无需管理 GPU 基础设施。用户可自行编写多轮强化学习训练循环、损失函数和奖励信号,由 SageMaker AI 处理 GPU 分配、分布式执行、故障恢复与检查点存储,并按处理的 token 计费。
推荐理由:原文说明了训练会话的训练循环、计费方式与支持模型,并提供 cookbook 和 agent 技能作为上手入口。
本教程展示如何使用 TRL 库的 GRPO 方法微调 LFM2.5-350M 以提升结构化输出能力。实验使用约 500 个样本训练 100 步,在 IFStruct 基准上的准确率从 22.6% 提升至 29.7%(JSON 格式提升 13.9 个百分点),所需资源仅需免费层 Colab 或 Kaggle GPU。
推荐理由:原文给出了具体的方法论(GRPO + 奖励函数设计)和可量化的性能提升,读者可以据此判断轻量微调是否适合自己的结构化输出场景。
AsyncGRPOTrainer(TRL v1.14)现在支持训练 LoRA adapter 并仅同步该 adapter 到 vLLM,无需跨节点 NCCL 通信。
推荐理由:给出了在 Hugging Face Jobs 上用 Storage Bucket 做分布式 LoRA 训练的完整方案,包括架构、代理设计和优化步骤,读者可以直接参考复现。