作者开源基于 ZeRO-3 与 LoRA 的 SDFT 自我蒸馏实现

作者开源了可在 ZeRO-3 下运行的 SDFT 自我蒸馏仓库，用冻结的共享骨干和两个轻量 LoRA 适配器分别承担学生训练与 EMA 教师更新。该实现支持教师与学生适配器切换、EMA 教师检查点保存与恢复，以及降低 GPU 显存紧张时显存峰值的 DeepSpeed 配置，作者已在 Qwen3.5 和 ToolAlpaca 上测试。