谷歌在 ICML 和 STOC 部署了一个代理式 AI 同行评审系统，以 30 分钟周转时间处理了约 10,000 篇论文。新研究论文显示，它比零样本提示多检测出 34%的数学错误。 这展示了一种可扩展的自动化科学同行评审方法，有望减少评审瓶颈并提高错误检测能力。它为会议规模下的 AI 辅助评审开创了先例，可能改变研究的评估方式。 该系统采用代理式框架，通过迭代推理结合检索和验证步骤来评审论文。它比基线零样本提示（即要求模型在没有额外指导的情况下进行评审）实现了 34%的改进。
背景
像 ICML 和 STOC 这样的大型计算机科学会议的同行评审传统上需要数百名人类评审员，耗时数周。零样本提示是指使用大型语言模型在没有任务特定示例的情况下回答问题。代理式 AI 系统旨在自主规划和执行多步任务，例如获取论文详情、验证数学论断以及综合反馈。