保形风险控制写入闸门在LLM Agent中的负结果实验

研究者尝试用保形风险控制（conformal risk control）为 LLM Agent 的写入动作加一道入门闸门，在动作执行前估计风险并依据预设风险水平决定是否放行。最新进展中，作者将这套方法部署到 tau-bench 零售场景上测试，使用 glm-5.3-flash 作为智能体模拟器与用户模拟器，共运行了 3,340 段对话。结果显示，基于保形风险控制的闸门在经验上确实给出了有效的风险上界，说明该框架本身可以工作；但是在与原始的“每次写入前都向用户逐步确认”这一基线相比时，闸门方案并未取得统计上显著的优势，也即闸门并未击败逐次确认。综合来看，这是一次负结果实验：保形风险控制闸门在风险界上是有效的，但在该基准上不能替代人工确认机制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。