Hacker News · 首页· lwhsiao·· 1 天前AI 评分67
语言模型可改写自身权重:27B 开源模型无梯度自我提升 6.6 分
Language Models Can Rewrite Their Own Weights
AI 导读
arXiv 论文提出 self-rewriting 方法,让语言模型仅靠自身推理改写权重,无需梯度和训练。一个 27B 开源模型在未见过的题目上准确率提升 6.6 分,连续八次会话中准确率持续上升,并能把几乎失效的自身副本恢复到原准确率的 80% 以上。作者称该能力随规模出现,同一模型族中只有最大模型能自我改进与修复。
来源:Hacker News · 首页 · arxiv.org