Hacker News · 首页· dblack12705·· 6 天前AI 评分41
Jev 校准精度分析
How accurately calibrated is Jev?
AI 导读
TypeSafe 新推出的 Jev“System One”分类器模型在物理分布测试中校准效果不佳。以 Total Variation 距离评估 10 种概率分布,Jev 得分为 0.518,略低于完全猜测的 0.546 分底限;均匀分布达 0.77,泊松分布为 0.65。实验成本极低,整个评测仅花费不到 4 美元。
来源:Hacker News · 首页 · maximumeffort.substack.com