Hugging Face Blog·· 3 小时前精选AI 评分70
Ai2 发布研究新颖性评测基准 Old Ideas, Novel Problems
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Ai2 发布研究新颖性评测基准 Old Ideas, Novel Problems，并开放论文、数据、代码及可复用的评估集构建流水线。测试显示，6 个 LLM 评审器对轻微提示词改动高度敏感，其中 GPT-5.4 的准确率可由 93.5% 降至 40.9%，而增加检索和推理预算也未带来稳定提升。
推荐理由
研究以同行评审构建新颖性基准，并系统测试提示词、检索与推理预算对判断稳定性的影响。
来源：Hugging Face Blog · huggingface.co