关于过拟合与创造力的讨论：用更小数据集或"欠训练"能否让模型更具创造性？

网友讨论模型创造力与过拟合的关系，认为 GPT-2 在远小于当前的训练集上反而表现出更强创造性。当前主流大模型因在大规模数据上过度拟合，预测能力强但难以泛化到真正的创造性任务。讨论提出假设：若沿用现有训练方案但减少训练轮数（"undercooked"），模型可能在创意写作上更好但代码能力下降，并征询关于 epochs、学习率等参数的看法。