跳到正文
原文
Reddit · r/MachineLearning· /u/Future_Pace_5290·· 4 天前AI 评分20

为什么 OKLS 在步数效率上仍不及 Muon?

How is it possible that OKLS can't outperform Muon in terms of step efficiency? [D]

AI 导读

作为 KL-Shampoo 的零延迟实现,OKLS 在步数效率上却被 Muon 反超,尽管 SOAP 优于 Shampoo、KL-Shampoo 又优于 SOAP。OKLS 仅在极长训练的参数量效率上领先 Muon。

来源:Reddit · r/MachineLearning · reddit.com