跳到正文
原文
Reddit · r/LocalLLaMA· /u/Usual_Maximum7673·· 7 天前精选AI 评分80

Jeff-Qwen3.5-0.8B v1.2 + 9 个 LoRA 适配器：置于 Qwen3.8-27B 前实现 38 倍加速和 +8.7 准确率，额外内存占用不足 2GB

Jeff-Qwen3.5-0.8B v1.2 + 9 LoRA adapters: put it in front of Qwen3.8-27B for 38× faster decisions and +8.7 points accuracy, for under 2 GB extra memory

AI 导读

作者发布 Jeff-Qwen3.5-0.8B，这是一款小型“System 1”模型，可在一轮前向传播中从给定选项中做出选择并返回校准概率。作者为其训练了 9 个 LoRA 适配器，分别处理 prompt 注入检测、工具选择、票据优先级排序、答案溯源等常见决策任务。

推荐理由

原文给出了具体的性能对比数据和开源资源，读者可以据此判断这种“小模型+LoRA适配器前置”的架构是否适合自己本地部署的场景。

来源：Reddit · r/LocalLLaMA · reddit.com

#新工具#Agent#效率#开源生态#部署/工程

最近 7 天的更新

相关工具