热点事件持续更新
开源支持ZeRO-3与LoRA的SDFT工具
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月28日，作者开源了可在ZeRO-3下运行的SDFT自我蒸馏实现。该方案使用冻结的共享骨干，并以两个轻量LoRA适配器分别承担学生训练和EMA教师更新；支持教师与学生适配器切换、EMA教师检查点保存与恢复，并提供降低GPU显存紧张时显存峰值的DeepSpeed配置。作者已在Qwen3.5和ToolAlpaca上完成测试。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 02:16
SDFT自我蒸馏实现开源，支持ZeRO-3、LoRA及EMA教师检查点。报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Reddit · r/MachineLearning作者开源基于 ZeRO-3 与 LoRA 的 SDFT 自我蒸馏实现
作者开源了可在 ZeRO-3 下运行的 SDFT 自我蒸馏仓库，用冻结的共享骨干和两个轻量 LoRA 适配器分别承担学生训练与 EMA 教师更新。该实现支持教师与学生适配器切换、EMA 教师检查点保存与恢复，以及降低 GPU 显存紧张时显存峰值的 DeepSpeed 配置，作者已在 Qwen3.5 和 ToolAlpaca 上测试。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。