跳到正文
原文
MIT Technology Review · AI· Grace Huckins·· 1 天前AI 评分62

METR 更新 AI 任务时长曲线,新增开放式判断类任务评测

The most misunderstood graph in AI just got a major update

AI 导读

AI 评测非营利组织 METR 更新其任务时长曲线报告,新增耗时更长和更开放的任务,发现模型在需要判断力的任务上不如编码任务表现好。在让模型设计 AI 评测的任务中,没有一个 AI 设计的评测被 METR 员工认为可用于研究;在给哲学论证打分的任务上,模型也低于人类水平。报告同时指出,最新模型如 Opus 5.5 在这类任务上已达到“略高于门槛”的表现,而一年前所有模型都处于“明显低于门槛”一档。

来源:MIT Technology Review · AI · technologyreview.com