科研圈最近流行一个很难翻译的词:科研品味。说白了,就是给你一堆看起来差不多的研究想法,你能不能一眼挑出那个真正能出结果、能引发后续工作的那一个。过去这要靠资深导师的直觉和领域大牛的“鼻子”,但现在创智和复旦的研究团队试图用RL(强化学习)新范式,把这种能力直接教给大模型。这个工作出来之后,我第一反应是:这才是大模型该卷的方向。
这篇文章不打算复述新闻稿。我想以一个长期在一线做模型训练和评估的工程师视角,把这件事拆开揉碎讲清楚:这个问题为什么难、RL在这里到底改了什么、如果你也想复现这么一套系统该从哪里下手,以及哪些坑我已经帮你提前踩过。无论你是做强化学习的研究者、搞科研信息化的工程师,还是单纯对大模型应用感兴趣的读者,这篇都能给你一些能落地的参考。
1. 先把“科研品味”这个问题讲清楚
1.1 为什么这个能力很重要
先说说“科研品味”到底指什么。我自己的理解是:面对多个研究方向时,能够判断哪个idea既新颖又可行,既重要又能在合理时间尺度内做出成果。它不是一个单一维度的评价,而是综合判断。很多资深学者其实自己都说不清这种能力是怎么来的,只能笼统地说是“长期积累的直觉”。
但从系统角度讲,这个问题被提出来是迟早的事。现在大模型的生成能力已经很强,让它写一段研究计划、做文献综述、甚至生成一个假说,都能做得像模像样。但“提出idea”和“判断哪个idea值得做”是两个完全不同的能力。一个能写出十页研究计划的大模型,可能完全说不清为什么计划A比计划B更有价值。这正是目前AI辅助科研中最缺的一环,也是这个工作想补上的。
在真实科研协作里,这种判断能力极度稀缺。课题组里往往是导师负责判断方向、学生负责具体执行,导师的时间和精力就那么点,一次只能认真评估几个idea。如果有工具能做大范围初筛,把“值得细看的候选者”从几百个缩小到五六个,那对科研效率的提升是实实在在的。
1.2 大模型为什么天生缺这种能力
接下来要解释一个很多人困惑的点:为什么“有大量知识的大模型”不等于“有判断力的大模型”。
你让一个大模型写综述,它能写得头头是道,因为知识都编码在参数里了。但知识是静态的,而判断一个idea是否有潜力,需要的是对“未来”的预期。引用量、后续工作、社区关注度、可复现性,这些都是动态变量,不会明明白白写在训练数据里。大模型的知识截止时间再新,也无法直接告诉你一个刚提出的想法将来会不会被大量follow。
更麻烦的是,大模型天然有“谄媚”倾向。训练过程让它学会迎合人类偏好,所以在评估想法时,它很容易把“听起来很有前瞻性”和“真的有潜力”混为一谈。如果你直接让模型给idea打分,它会倾向于给出一个“四平八稳、积极正面”的回答,这在科研评估里基本没什么用——你要的是能挑出毛病的眼光,不是一个只会说“很好”的评审。
这也是为什么纯靠SFT(监督微调)很难解决这个问题。SFT的本质是模仿给定答案,你给它几千条“好idea vs 坏idea”的标注,它能学到表面的打分模式,但一旦遇到分布外的新idea,判断力就急剧下降。因为评估能力不应该是一堆静态标签的记忆,而应该是一个动态推理过程。
1.3 RL新范式改了什么:从对齐到自主判断
传统大模型RL做的最多的是RLHF,核心是让模型输出更符合人类偏好,属于“对齐”问题。后来o1那波推理模型把RL用在了提升思维链质量上,模型学会在回答前多想几步。这次的工作方向又往前走了一步,可以概括为Agentic RL——让模型在开放环境里主动调用工具、检索资料、迭代分析,最后给出判断。
换句话说,传统RL是被动地优化一个答案,新范式是让模型学会一套“做研究判断的工作流”。在训练过程中,模型不是背答案,而是学会去查论文、找对比、列出评价维度、计算得分。整个过程和人类专家评审一篇论文时的工作方式很接近。
这个转变很关键。它把“科研品味”从一个不可言说的能力,变成了一个可分解、可训练、可评估的强化学习问题。模型不再只是“说出一个分数”,而是“在真实环境里收集证据,给出一个有理有据的判断”。环境反馈和奖励信号就是它的导师,RL就是它学会这套判断工作流的训练过程
