Reddit · r/MachineLearning· /u/Virtual-Message-9739·· 14 小时前AI 评分35
PBT 无法加速 grokking,但可逃离无 grokking 的超参数区间
PBT doesn’t make grokking faster, but it can escape a hyperparameter range where nothing groks [P]
AI 导读
Population Based Training 在 modular addition mod 97 的 grokking 实验中每次种子均慢于网格搜索,但能从固定超参数均失败的区间实现 3/3 成功,约需 6850 steps。移除权重复制后,回放获胜的 lr/wd 调度仍有 55/60 达到 95% 验证准确率,说明起关键作用的是调度路径而非权重复制;该结论仅基于一个任务、模型和数据划分。
来源:Reddit · r/MachineLearning · reddit.com