Reddit · r/LocalLLaMA· /u/AdventurousTwo6445·· 2 天前AI 评分44
用闭式轨迹权重手术把 Qwen 3.5 4B 能力迁移到 0.8B：中间层为何崩溃及 4 个锚点块如何修复
Closed-form trajectory weight surgery: transferring 4B capabilities into 0.8B without billions of tokens (why middle layers break, and how 4 anchor blocks fixed it)
AI 导读
研究者提出一种跳过反向传播的闭式轨迹匹配方法，通过正则化最小二乘和谱投影直接把 Qwen 3.5 4B 的层间隐藏状态轨迹迁移到 0.8B 学生模型；起初编辑全部 24 层导致 NLL 暴涨 64.78%。
来源：Reddit · r/LocalLLaMA · reddit.com