跳到正文
原文
Hacker News · 首页· datavorous_·· 3 小时前AI 评分22

用 Qwen2.5-Code-7B 后训练一个 Dwitter 代码补全模型

I post trained a model on Demoscenes

AI 导读

作者以 Qwen2.5-Code-7B 为基座,在 25k 条 Dwitter 140 字符 JavaScript demo 上做继续预训练,30 条留出样本的困惑度从 28.63 降到 8.57。随后按 Dwitter 的 "awesomeness" 分数构建课程学习,400 步内将前 1000 名样本的采样概率从 20% 提升到约 67%,用于采样未完成 dweet 的合理续写。

来源:Hacker News · 首页 · datavorous.com