Hacker News · 首页· tgluck·· 9 天前精选AI 评分79
Jevstiller：带 Disagreement Bound 的本地模型蒸馏工具
Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound
AI 导读
Jevstiller 是一个将 Jev 模型蒸馏为本地小模型的系统，使用 bge-small 编码器加逻辑回归头，约几百 KB，CPU 上 15ms 响应。核心创新是提供 95% 置信度的协议保证：设置如 98% 的目标Agreement，系统保证本地模型与 Jev 的不一致率不超过预算。
推荐理由
给出了一个带数学保证的蒸馏系统实现，读者可以学习其如何用统计方法保证协议达成。
来源：Hacker News · 首页 · jevstiller.pages.dev