TechCrunch · AI· Aditya Mehta·· 3 小时前AI 评分52
Goodfire 推出低成本 AI 模型内部激活监控器
Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost
AI 导读
可解释性公司 Goodfire 推出内部激活监控器,通过读取模型前向传播中的中间神经激活来检测风险,现向 Baseten 客户开放。系统仅在探针标记异常后调用另一模型复核,Baseten 客户可选择监控黑客攻击、化学与生物武器滥用、reward hacking 等风险,并设置记录、人工复核或拒绝请求等响应。
来源:TechCrunch · AI · techcrunch.com