
transcript
show notes
今天的这篇的主题是: AI Research Preference Models
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。
如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。
联系小助手微信:eccstartup(加群/投稿论文)
Summary
AI 研究智能体(AIRA)现在能够全程承接机器学习实验——从提出方案、代码实现到评估验证。然而,前沿任务上的进展往往受制于极其昂贵的评估成本,这些评估动辄消耗数天的 GPU 时间。当一个智能体提出的候选方案数量远超其负担得起(运行)的上限时,研究的突破便取决于其“研究偏好”(Research Preference):即如何在众多候选方案之间分配有限的执行预算。
为此,我们提出了 AI 研究偏好模型(AI Research Preference Models, RPMs)。该模型无需付出运行所有候选方案的高昂代价,即可预测出哪种方案最具潜力。我们基于冻结的预训练语言模型构建了两种 RPM 变体:一种是仅推理模型(inference-only model),它综合对候选计划、代码以及先前已执行的方案进行推理分析;另一种是智能体模型(agentic model),它在此基础上还会额外运行小规模的试点实验(pilot experiments)。
将这两种变体集成到 AIRA-dojo 研究智能体中并在机器学习研究基准测试 AIRS-Bench 上进行评估后,两者的平均标准化得分分别从 0.684 提升至 0.711 和 0.729。两者均仅消耗了无指导智能体不到三分之二的执行预算,在约 15 小时内就达到了后者 24 小时才达到的性能水平,并共同在两项 AIRS-Bench 任务上刷新了 SOTA(最先进)纪录。
原文链接:https://arxiv.org/abs/2608.13940
前往小宇宙评论区与主播互动





