Google 研究评估大语言模型行为倾向的对齐度

Google 研究团队提出一个评估 LLM 行为倾向对齐度的框架，通过情境判断测试（SJT）评估 25 个模型在同理心、情绪调节等行为特质上与人类偏好的对齐程度。研究发现小型模型（<25B）对齐度接近随机水平，大型前沿模型（>120B）在人类共识度高时对齐度接近完美，但在低共识场景下存在系统性过度自信问题，且模型自我报告与其实际行为存在显著差异。