Reddit · r/MachineLearning· /u/Future_Pace_5290·· 4 天前AI 评分20
为什么 OKLS 在步数效率上仍不及 Muon?
How is it possible that OKLS can't outperform Muon in terms of step efficiency? [D]
AI 导读
作为 KL-Shampoo 的零延迟实现,OKLS 在步数效率上却被 Muon 反超,尽管 SOAP 优于 Shampoo、KL-Shampoo 又优于 SOAP。OKLS 仅在极长训练的参数量效率上领先 Muon。
来源:Reddit · r/MachineLearning · reddit.com