跳到正文
原文
Reddit · r/MachineLearning· /u/Kinexity·· 9 天前AI 评分18

为什么不在 softmax 前少用一个特征?[D]

Why not just have one less feature before softmax? [D]

AI 导读

开发者提出一项 softmax 优化方案:利用输出和为1的约束条件,将 N 个输入减少为 N-1 个,让最后一个 logit 等于其他 logits 之和的负值。该方案可移除 softmax 前最后一层的冗余参数,理论上可能加速模型收敛,但实际收益可能微不足道。

来源:Reddit · r/MachineLearning · reddit.com