Jev 与 Laya 置信度评分模型基准测试

作者对 TypeSafe AI 托管的 Jev 1.13.0 和开源的 Laya 两款小规模置信度评分分类模型进行了评估。Jev 的 ECE 为 0.013，Laya 为 0.486；通过将 AML 标签描述从意图改为交易特征，准确率从 65% 提升至 77%。结果表明校准质量决定阈值策略效果：Jev 在 90% 置信度阈值下准确率从 92.3% 提升至 97.6%，覆盖 82% 案例。