Reddit · r/LocalLLaMA· /u/mshubham·· 9 小时前AI 评分20
小型决策模型微调实践:d3-edge 0.6B 经 SFT + LoRA 后反超 d3 27B
d3-edge (0.6B) fine-tuned outperformed d3 (27B) decision model
AI 导读
社区用户对 vLLM-SR 的 d3-edge(0.6B)决策模型进行了简单 SFT + LoRA 微调,使用数千条训练样本后,在 typed decisions 任务上反超参数量更大的 d3(27B),并在 Banking77 上接近其水平。作者据此认为应针对决策类任务微调小型专用模型,而非为每项任务都使用大型通用模型。
来源:Reddit · r/LocalLLaMA · reddit.com