跳到正文
原文
Hacker News · 首页· dblack12705·· 6 天前AI 评分41

Jev 校准精度分析

How accurately calibrated is Jev?

AI 导读

TypeSafe 新推出的 Jev“System One”分类器模型在物理分布测试中校准效果不佳。以 Total Variation 距离评估 10 种概率分布,Jev 得分为 0.518,略低于完全猜测的 0.546 分底限;均匀分布达 0.77,泊松分布为 0.65。实验成本极低,整个评测仅花费不到 4 美元。

来源:Hacker News · 首页 · maximumeffort.substack.com