学习评审清单以减轻科学同行评审中的抽签效应
Learning Checklists to Reduce Lottery Effects in Scientific Peer Review
Xuanyou Liu · Ziyang Guo · Jason Hartline · 1+
同行评审中的抽签误差是指少数受邀评审只关注论文的部分问题,而更广泛的合格评审者本会提出更多问题。利用从历史评审语料中学习到的批评意见清单,可以减轻此类误差。该方法生成一棵清单树,表示原子化评审主张空间的层次化粗化,并选择使评审者间相关一致性达到理论最优度的粗化版本。研究通过 LLM 辅助流程实现该方法,并在 NeurIPS 2021 与 ICLR 2022 评审数据上测试。在采用 LLM 评审者的模拟评审中,学习所得清单使三人委员会评审的均方误差(MSE)在 NeurIPS 上降低 58%,在 ICLR 上降低 21%;两个会议中,相关一致性最高的清单,在三人及以上委员会中均取得最低误差。在包含 20 名参与者的人类研究中,以 NeurIPS 2021 排序为基准,学习所得的 NeurIPS 清单将论文排序的 MSE 从 0.48 降至 0.22。