跳到正文
热点事件持续更新

d3-edge 0.6B 微调后在决策任务上反超 d3 27B

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

社区用户在 vLLM-SR 的 d3-edge(0.6B)决策模型上以简单 SFT + LoRA 微调,使用数千条训练样本,在 typed decisions 任务上反超参数量更大的 d3(27B)模型,并在 Banking77 数据集上接近 d3(27B)的水平。作者据此认为,应针对决策类任务微调小型专用模型,而非在每项任务上都依赖大型通用模型。该实践发布于 Reddit r/LocalLLaMA,展示了用较少数据和算力在特定决策任务上获得优于大模型表现的路径。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. Reddit · r/LocalLLaMA
    小型决策模型微调实践:d3-edge 0.6B 经 SFT + LoRA 后反超 d3 27B

    社区用户对 vLLM-SR 的 d3-edge(0.6B)决策模型进行了简单 SFT + LoRA 微调,使用数千条训练样本后,在 typed decisions 任务上反超参数量更大的 d3(27B),并在 Banking77 上接近其水平。作者据此认为应针对决策类任务微调小型专用模型,而非为每项任务都使用大型通用模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。