小丹尼DannyData如果你也在做模型选型、AI应用评测或者科研工具落地，最近应该有个很直观的感受：那些常规的常识问答榜单，已经快要失去区分度了。各个模型都在逼近天花板，再往上比，比的不是“谁更会聊天”，而是“谁能在专业级问题面前站稳”。我这边团队内部做回归测试时也遇到过类似情况——普通题库跑下来大家分数犬牙交错，等我把题目换成研究生阶段的物理推断、化学合成路线设计，差距立刻变得清晰。这个背景之下再看“OpenAI：专家级科学推理新基准”这个说法，它指的不再是那种庆祝“又涨了俩点”的刷榜游戏，而是一种把门槛抬到“能参与专业科研讨论”水平的评测态度。
这篇文章想聊的，就是围绕这类专家级科学推理基准的评测思路、容易踩的坑，以及如何把这套思路转化成你自己可以复现的模型验证方法。适合三类人看：一是要给业务选型大模型的技术负责人，二是做AI应用但不想被榜单分数误导的开发者，三是关注大模型能力边界的爱好者。下面是这段时间我在复测和实际使用中积累下来的一些观察，希望对你有用。
1. 为什么“专家级科学推理”成了检验大模型的新准绳
1.1 从“会聊天”到“能推导”：评测重心在明显转移
过去大家喜欢用常识问答、文本摘要、情感分类这类任务来衡量模型，原因是它们容易落地、也容易打分。比如问“巴黎是哪个国家的首都”，模型能答对就算合格。但这类任务有一个天然缺陷：它们的答案通常可以直接出现在训练语料里，模型很大程度上是在“回忆”，而不是在“推理”。随着语料规模扩大、参数规模暴涨，模型在这类任务上的表现很快逼近饱和，分数高到已经分不出好坏。
这就导致一个很尴尬的局面：几个模型跑同一个通用基准，分数差异可能就在一两个百分点以内，但拿真实业务问题去压测时，体验却差很多。后来我把测试重心移到了科学推理题上，梯度一下子拉开了。原因很简单：科学推理任务要求模型把多个知识点动态组合起来使用，不是翻找一段记忆就能完成的。比如给一道多步骤的热力学题，中间既有绝热过程方程，又有熵变判断，最后还需要说明适用条件，模型只要一个环节出现知识匹配错误，最终答案就会错得离谱。这类任务的评分标准天然趋严——物理世界的答案既不依赖文风，也不接受和稀泥。
所以你会发现，OpenAI这条线把模型能力往“科学推理”方向推，这不是宣传话术，而是真的把问题集改成了“可判对错、需要推导、无法靠语感糊弄”的硬核题目。这类能力对真实产品的影响也很大，像科研辅助、金融风控、工业仿真前的参数估算，都需要模型先给出可靠的推理链，再谈用户体验。
1.2 为什么偏偏要上“专家级”门槛
有人会不解：评测模型为什么不用更贴近日常的题目，非要上专家级？我自己做了大量测试之后的体会是：如果目标是衡量一个模型的上限，低难度题目的区分度实在太差。好比你想测一辆车在极限工况下的安全性，就不能只让它在小区停车场绕圈，你得把它拉到碰撞试验场。普通题目就是“停车场绕圈”，而专家级科学推理题就是“碰撞试验”。
这里有个常见的反直觉点：很多开发者在做模型评估时，习惯选“业务里最常见的简单问题”，结果发现所有平台模型都表现很好，很难做出选择。可我推荐的做法反过来——在你的业务范围内，选几道当前模型最容易做错的高难度样题来当试金石。原因在于，一个能解决专家级推导问题的模型，回过头来解决普通问题往往是降维打击；而一个只会处理常规问答的模型，遇到真正复杂的场景就会失灵。你不需要让所有问题都很难，你只需要在评测集里加入一条足够高的“天花板”，就能把模型的高下看得清清楚楚。
另外，专家级科学题还有一个优势：它们往往是“有标准答案”的，或者至少存在部分客观校验方式。你不需要像评作文一样主观打分，模型输出的符号解或数值解可以直接被公式、单位、物理约束检查。这让自动化评测成为可能，也让评测结果可以被不同团队复现。
1.3 “新基准”到底新在哪里
理解了专家级的意义，就能理解“新基准”的“新”了。传统的公开排行榜大多采用选择题或短答案形式，自动化评估比较方便，但也带来了两个问题：第一，选择题存在猜对概率，模型只要排除掉两个明显错误项，剩下二选一也有可能蒙对；第二，部分题集的题目本身已经在互联网上传了很久，模型预训练阶段可能已经“见过”。所以一个模型在传统基准上得分高，并不完全等于它真的掌握了科学推理。
这一轮新的评测方法有很明显的变化信号：题目要足够新，或者足够冷门，最好是领域专家专门编写、没有在公开页面上出现过的内容；考察方式也要从“选一个答案”变成“给出推导过程和最终结论”。更进一步的评测还会要求模型调用外部工具，用符号计算或者数值模拟来验证自己提出的方案。这样设计的目的，是把模型的“记忆力”和“推理能力”分开来看。
这个变化对应用开发者来说是一个提醒：以后我们判断一个模型是否适合自己业务，不能只看厂商宣称的分数，要去看它是否在“可验证推理”这条赛道上真正下了功夫。如果一个模型在科学推理题目上能稳定输出结构清晰、过程可验证的回答，那么它在很多垂直场景里的表现通常会比传统问答模型的“聪明感”更可靠。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 俯瞰试卷结构：专家级科学推理到底在考什么
2.1 学科广度与题目来源：专家题为什么这么难凑
要搭建一套专家级科学推理评测集，第一个困难不是模型，而是题目从哪来。普通的爬虫抓取题集很容易，但里面大量题目已经存在于互联网上，直接拿来测试模型一定会遇到“数据污染”问题。科学家团队的做法通常是邀请各个学科的研究者自己出题，确保题目独一无二，不会出现在常见的训练语料里。像公开的GPQA这类高难度科学问答基准，走的就是这个路子。
但专家出题也有代价：数量不会很多。一个学科能凑出几百道高质量、无泄漏的原创题已经非常不易了。这就带来一个统计学问题：如果测试集只有一百道题，两个模型之间的准确率差5个百分点，其实很可能在误差范围内。很多团队在看榜单时忽略了这个波动，把几个百分点的差距当成天壤之别，结果自己复测时根本复现不出来。
我自己的经验是，看任何评测结果都得先问一句：这个集子有多少道题？如果只有一两百题，至少要同时看多次运行的方差。另一个办法是看评测报告里是否提供了逐题结果，而不是只给一个总分。如果还能看到分学科拆解，那对判断模型能力会更有帮助，因为很多模型在数学和物理上表现不错，但在化学、生物的实验设计上会忽然掉链子。
2.2 难度阶梯：本科基础、研究生进阶与开放前沿
专家级科学推理题并不是一个平面的池子，内部有明显的难度分层。理解这个分层，对你在业务里设计评测非常有帮助。我一般会把科学推理题大致分成三个层次。
第一层是学科基础层。题目知识范围相当于理工科本科阶段，公式和定理都比较清晰，但需要多步计算或逻辑转换。比如给定一个复杂电路的节点电压，求解某个支路电流；或者给出一套有机反应的起始物和条件，要求判断主要产物。模型只要掌握对应学科知识，就能在这些题上拿分。
第二层是研究生进阶层。这个层次的题目往往需要跨越子领域组合知识，还经常设置一些“反直觉陷阱”。比如一道物理题可能需要同时用到量子力学微扰论和热力学统计物理的结论；一道生物信息学题目可能要求结合蛋白质结构与进化树分析。模型如果只是记住了单个知识点，无法应对这类题。
第三层是开放前沿层。它对应的是科研中真正需要探索的问题，比如一个刚发表论文里的扩展问题，或者一个领域里大家都在争论的方法学选择。这类题目不一定有唯一的“标准答案”，评测时更看重模型的假设是否合理、推理是否有据、能否设计实验去验证假设。
对于多数业务场景，你其实不需要在所有三个层次上都要求模型满分。如果你的产品是面向理工科学生学习辅导，重点测试基础层就够了，追求研究生层能力只会无谓地提高推理延迟和成本。如果你的产品要做科研辅助，那至少要在第二层稳定拿分，第三层可以作为“模型上限”的观察指标。
2.3 客观评分如何实现：机器人怎么给推导题改卷
很多人觉得开放推导题没法自动化评测，其实科学领域的优势恰恰在于“结果可被客观规则检查”。物理题会有量纲和单位约束，化学题会有原子守恒和电荷守恒，数学题则可以通过符号化简或数值代入来检验。
目前比较理想的评测流程不是让模型直接说出“答案是42”这么简单，而是引导模型输出结构化内容，比如先给出“准备使用哪些原理”，再给出符号推导，最后给出数值和单位。评测系统可以分别抽取这些字段，把符号推导交给计算机代数系统做化简验证，把最终数值放到题目自带的解法脚本中执行比对。这样既能避免选择题的蒙对概率问题，也能降低纯人工评分的成本。
需要注意，这种“可验证”的模式不能过度简化成解析最终答案字符串。我在复测中见过不少评测工具把“支持重试”“大小写不敏感”都算作一次正确匹配，这会掩盖模型真实的能力问题。推荐的最小可行方案是：不仅比对最终结果，还要把中间公式单独拿出来做代数等价性检查，再用单位检查兜底。哪怕做不到自动查公式，也可以先要求模型把公式写出来，在人工抽检时着重看推导过程，而不是只看最后那个数。
3. 刷新榜单不等于会做科研：我在复测中踩过的四类坑
这章是重点。过去半年我拿高难度科学推理题做了很多轮模型对比测试，有几次模型报告的分数高得吓人，可真到了我自己的私有问题上就露馅。这类问题背后的原因不是单个模型不行，而是评测设计和数据本身有漏洞。如果只盯着最终分数，你很容易在选型时做出错误判断。
3.1 数据重叠污染：看似原创，实则背题
先聊最阴险的一类坑。曾经有个模型在某个高难度科学问答集上表现很好，好到我差点把业务切过去。但我留了个心眼：从测试集里随机抽了二十道题，把题干里的具体物质名称、年份、人名变量全部替换掉，数值也做了同量级的变化，重新拿给同一个模型测。结果准确率肉眼可见地往下掉。这说明一个事实——模型的高分有很大一部分来自“见过原题”，而不是真正会做。
排查这类问题时，我推荐你用一条可执行的链路来走。第一步，做个快速数据重叠检查：把你准备使用的测试题和已知的大规模语料库或模型服务商的公开语料做字符级相似度比对。如果最高相似度经常超过0.8，就要高度警惕。第二步，对任何高分的题集都做一个“变量扰动”平行测试。不用改题目逻辑，只改数值、单位、人名、物质代号，如果模型成绩震荡超过15%到20%，那么原分数就要打一个很大的折扣。第三步，通过API拿到模型对单题的详细输出，看它是原样背诵了一段解题过程，还是真的在使用题中给出的新条件。
看一段方便快速检查相似度的参考代码。这里的核心思路是把候选题目和一份语料库投射到字符n-gram空间，取最大相似度来预警：
python复制from sklearn.feature_extraction.text import TfidfVectorizer
test_question = "质量为m的小球以初速度v0沿光滑斜面下滑，斜面倾角为θ..."
corpus = ["文档1 ...", "文档2 ..."] # 替换成你怀疑有重叠的语料
vectorizer = TfidfVectorizer(analyzer="char_wb", ngram_range=(3, 5))
X = vectorizer.fit_transform([test_question] + corpus)
similarities = (X @ X[0].T).toarray().ravel()[1:]
max_sim = similarities.max()
print("最高相似度：", max_sim)
运行以后，如果最高相似度超过0.85，测试题和语料库基本是同一段文字；如果超过0.6并伴随着大段连续匹配，也足够让你警惕。这个检查不能完全证明模型在做题时“背答案”，但至少能帮你在测试集选定时排掉一部分地雷。
3.2 只对答案不对过程：选择题带来的“假专家”
第二个坑出现在我看模型细节输出的时候。某个模型在多选题上几乎全对，但当我故意把问题的选项去掉、改成要求直接写出解题过程时，它在某一步的物理关系写错了，只是在三个选项里排除法选中了正确项。也就是说，选择题只有“是否猜中”的输出信号，很难反映模型是否真正掌握了解题方法。
所以我现在做模型评测时，原则上会把选择题当作筛选工具，而不是最终结论。任何冲进候选名单的模型，都要再过一遍“填空+推导”测试。操作也不复杂：把每道题的最后一段从“以下哪个选项正确”改成“请写出计算过程和最终答案，并说明每一步用到的定理”。如果你的业务场景不支持做大规模人工批改，可以用一个小样本抽检，比如每次随机抽二十道题人工看输出，成本完全可控。
另外还可以让模型自己生成一个问题变体来测试它是否真的理解。比如拿到一道关于电场的题，我要求模型“把点电荷改成均匀带电球壳，重新解一遍”。如果模型能正确迁移方法，说明它掌握的是规律本身；如果它只是机械套用了原题公式，这里一定会露出马脚。这个技巧在面试模型的时候特别好用，值得收藏。
3.3 措辞敏感和变量命名造成的假性波动
第三个坑和模型能力无关，但很影响评测稳定性。有段时间我在同样的题目上测试，只是把题干里的变量名从“x”改成“d”，从“质量2kg”改成“重量19.6N”，模型的正确率就出现了明显波动。这不代表模型不聪明，而是它对外部指令的措辞很敏感，尤其当题目长度和描述方式改变时，模型对意图的理解可能发生偏移。
这种假性波动会误导两个方向：要么让你觉得某个模型不行，实际上只是你没把问题问清楚；要么让你觉得某个模型很行，实际上只是你用了对它友好的措辞。解决方法是在做横评时，为每一道题准备至少两个措辞不同的版本，一个是纯文本描述，一个是类似教科书习题的紧凑描述，然后交叉测试。只有当模型在两个版本上都能保持稳定的输出，才有资格被称为“掌握了这道题背后的物理/化学逻辑”。
更极端的做法是对题干做对抗改写。比如原来是“一个物体从高度h自由落下”，你可以改成“一个物体沿无摩擦圆弧从静止开始滑下，圆心角为α，半径R”，表面上是新题，但底层原理其实都是机械能守恒。如果模型只能在一种表述下做对，说明它依赖的是记忆中的题型模板。这一点对做教育类AI产品的团队特别重要，因为你面对的学生问法千奇百怪。
3.4 冲榜调参导致的部署失灵
最后一种坑不完全在模型本身，而是在评测配置上。有些高分模型在推理阶段使用了大量特殊技巧：比如采样多次再投票、让模型自我反思好几轮、甚至借助了一个精确匹配的解析器来判断是否重新生成。这些技巧在排行榜上有效，但放到真实API调用里，要么延迟高得没法用，要么需要你自己搭一套复杂的采样管线。
我习惯在记录任何模型评估结果时，同时记下它的推理配置。最基本的字段至少包括：模型版本、temperature、生成的最大token数、是否使用了多数投票、是否允许调用代码解释器、题目集是否有选择题提示、以及单题平均推理成本。这样当你看到“准确率90%”时，能立刻知道背后是“单次simple调用”还是“三十二次采样投票”。
我自己的选型标准里有一条很实在的规则：如果一个模型在默认设置下的推理准确率已经够用，就不太需要为了排行榜上的两个百分点去接复杂的推理管线。真实业务里，稳定低延迟的价值往往比一个漂亮的benchmark分数大得多。专家级科学推理评测的优点也在于此：它能帮你看到模型在“裸跑”状态下的真正水平，而不是在精心调教下的上限表演。
4. 把“专家级科学推理”思路落到自己的实验里：一份可复用模板
前面的内容偏重“看榜避坑”，这一章我们聊聊怎么从零搭一套属于你自己的科学推理测试。这套方案不需要你有名校教研团队，也不需要维护一个庞大的题库，核心是借鉴新基准的“分层设计+可验证输出”思想，用小成本做出足够可信的判断。
4.1 搭一个不依赖私有数据集的“冒烟测试盒”
我一开始也头疼怎么搞到高质量的私有题，后来发现有个更现实的路径：与其追求题目的完全原创，不如对公开的教科书习题做二次改造。你不需要改逻辑，只要做三件事——换数值、换场景、换已知条件的形式。比如原题是“水平面上质量2kg的物体，受10N水平拉力”，改成“斜面上质量5kg的物体，受沿斜面向上的20N拉力，摩擦系数0.2”——逻辑加了难度，但公式基础还是牛顿第二定律。这样可以大幅降低模型“背原题答案”的可能性，又能保证参考答案的可靠性。
我目前维护的冒烟测试盒包含4个学科，每个学科10道题，合计40题。题目量不大，但覆盖了“基础计算、概念辨析、多步推导、反例判断”四种类型。每道题都强制要求模型输出固定结构：陈述所用原理、完成符号推导、给出最终数值和单位、说明一个可能的易错点。评测时不看选项，也不允许模型含糊地说“根据公式可得”，它必须把公式写出来。
评分规则也不复杂：最终数值正确算30分；符号推导正确算40分；单位正确算20分；易错点说得有道理算10分。这样即便模型没算出最终值，只要推导思路清晰，也能得到一部分分数，能更细粒度地反映能力。百分制下，我会给业务线设两条线：80分以上是“可进入真实场景灰度”，60分以下则说明当前模型还需要人工兜底。
4.2 调用OpenAI API做科学推理测试时的参数建议
关于具体API调用，我不打算把密钥管理、账号申请这类内容展开，只提醒一句：密钥千万别硬编码在代码仓库里，哪怕测试脚本也要用环境变量。进入正题，如果你准备用OpenAI系列模型跑科学推理测试，有几个参数值得专门调。
第一，temperature通常设为0，保证输出确定性。但要注意，科学推理题目本身就允许不同解法，所以即使设为0，模型也可能因为题干细微改写而给出不同结果，这正好可以用于检查模型稳定性。第二，max_tokens不能设得太短。很多模型在回答复杂科学题时需要很长的思维链空间，如果你把输出上限截到500，它可能刚好在关键步骤被切断。我现在跑这类题目一般会设到4000以上，让模型有能力把推导分步写完。第三，尽量使用结构化的输出格式，比如JSON，便于后续自动化解析。代码大致长这样：
python复制import os
from openai import OpenAI
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])
response = client.chat.completions.create(
model="最新的推理型号以官方文档为准",
temperature=0,
max_tokens=4000,
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": (
"请解下面的物理题，并输出JSON对象。"
"JSON中必须包含：principles(用到的原理), derivation(符号推导), "
"final_value(最终数值), unit(单位)。\n\n题目：..."
),
}
],
)
print(response.choices[0].message.content)
这里最关键的点是把“输出要求”写进系统提示，而不是只靠JSON Mode来保证结构。因为科学推导必然包含公式和特殊符号，纯JSON字符串很容易把公式切成碎片，所以我在提示里还会要求“公式统一使用LaTeX风格写法，放在字符串字段里”。这样解析时反而更简单。
4.3 一个实测有效的两步口令：让模型负责推导，让代码负责计算
模型做多位小数算术时经常会出错，哪怕是专门做推理的系列模型也有这个问题。解决思路不是逼它把算术练准，而是明确分工：模型只负责“列公式、定逻辑”，算术和数值计算全部交给Python代码执行。这样做的好处是，你既能验证模型的推导逻辑，又不会被算术错误带来的噪音干扰判断。
我会在提示词中嵌入这样的要求：
text复制1. 先列出你准备使用的物理或数学原理，并说明每个原理的适用条件；
2. 完成符号推导，先不要代入任何具体数值；
3. 把最终公式改写成可执行的Python代码，并明确每个变量对应的数值；
4. 执行代码后，把运行结果原样输出；
5. 最后用一个独立步骤做量纲检查。
这样的流程相当于把模型当作“科学顾问”，而不是“计算器”。实际跑下来，模型在公式层面的正确率仍会影响结果，但至少你不会因为它在某一步把0.5乘错了而误判整道题不会做。这个思路也可以复用到很多业务场景，比如让模型生成SQL查询来统计结果，而不是让它直接心算报表数字。
4.4 用“专家评审”模式提高小样本评测的可靠性
如果只有40道题，模型偶尔蒙对一两道就会影响总评。为了弥补小样本的随机性，我增加了一个“第二评审员”环节：让另一个独立请求去检查前一个模型的输出。这个评审员的提示词不要求它重新解题，而是要求它专注于检查“量纲是否一致、边界条件是否被忽略、推导步骤是否跳跃”。这有点像是让两个专家背靠背做peer review，能抓住许多单次调用发现不了的问题。
举个很常见的情况：模型算出了一个电学量，符号没错，数值也对，但最后给出的单位是“安培”，而题目要求的物理量实际是“伏特”。这种单位错配在单次输出里很容易被忽略，但评审员如果被明确要求检查量纲，就会直接打回。经过这轮检查后剩下的错误，通常是模型真正不理解问题的部分，而不是粗心导致的笔误。
代价方面，两轮调用会增加大概一倍的推理成本和时间。但对于小样本测试集，这个成本完全可接受。真正要投入生产的大规模离线评测，我也不会每一道题都跑两轮，而是在首轮单次调用的结果中，只挑出边界分数附近的题目做第二轮，这样既控制了成本，又守住了评测质量。
5. 新基准带来的连锁反应：产品形态、能力边界与持续追踪
5.1 对AI产品的启示：从“给答案”到“给可审计的推演”
当模型在专家级科学推理任务上变得越来越强，产品形态一定会跟着变。最早的教育类产品是让学生搜答案，后来变成了拍照解题，再往后变成了“对话式讲解”。而一旦模型能够稳定输出可验证的科学推理链，产品就有机会进入更高的信任层级：不是告诉学生“答案是D”，而是像助教一样把每一步推导摊开，由系统再校验一遍公式和单位是否正确，错了就给出提示。
这种“过程可审计”的能力对B端价值更大。比如科研数据管理工具，过去让AI直接判断“这篇论文的方法是否支持结论”是高风险动作，因为一个幻觉就可能误导整个课题。如果模型能在给出结论前先列出判断依据、适用条件和潜在反例，再由规则引擎对可计算部分做验证，信任边界就清楚很多。专家级科学推理新基准的评测逻辑，本质上也在训练工程师往这个方向设计系统。
从我自己的经验看，凡是涉及专业内容的AI功能，最忌讳的就是让模型直接输出一个“孤零零的答案”。哪怕答案是对的，用户和监管方都不会满意，因为缺少可复审的痕迹。好的做法是把模型的推导过程显性化，让用户看到它是如何从一个原理出发、经过哪些假设、最后得到这个结论的。新基准强调的“可验证推理”，正好提供了这么一面镜子。
5.2 仍然存在的边界：别把“会解有标准答案的题”等同于“会做科研”
必须泼一盆冷水：即使模型在专家级科学推理基准上拿到再高的分数，也和我们理解的“会做科研”有距离。真实科研里，大量关键问题是没有标准答案的。如何提出一个好问题、如何在互相矛盾的证据中判断该相信哪一篇论文、如何设计一个实验来区分两个看似都能成立的假说——这些能力很难被单一基准覆盖。
所以我在内部定了一条规矩：基准分数只能作为“最低能力门槛”，而不是“科学可靠”的背书。一个模型能通过高难度物理题测试，至少说明它的推理框架是可靠的；但它在面对一个未解决的开放问题时，仍然可能自信地给出错误建议。任何结论都要经过人工复核，尤其是高风险领域。这也是我不建议团队把“新基准跑分”直接写进产品宣传语的原因，容易给用户造成一种它已经接近科学家的错觉。
开发者在应用这类模型时，最好给产品加上一层“可能性”的表达而不是“确定性”的表达。比如让模型在输出专业建议时，附带一句“以上推导基于XXX假设，如果边界条件改变，结论需要重新评估”。这句话看起来简单，却能极大降低误导用户的概率。我在实际使用中遇到过不止一次，模型在默认假设下给出完美推导，但只要用户没有补充隐含条件，结果就完全偏离实际情况。
5.3 我现在的追踪方法：小步快跑，持续抽样
最后分享一个个人一直在用的方法。每个季度，我会从自己维护的冒烟测试盒中随机抽取20道题，用当时最新可用的模型跑一遍，然后记录四个数据：总正确率、平均响应时间、平均token消耗、以及“无需二次评审直接通过”的比例。用这个简单的方式，我能持续感知模型能力的演进，而不用等厂商发大版本公告。
建议你也建一个这样的固定回归题库，不用多，每个学科十道题就够。重要的是每次测试时必须锁定参数和提示词模板，不要随意改动。模型迭代后，先拿这套固定题库跑一遍，再决定要不要替换生产环境里的旧模型。业界常说“永远不要把新模型直接上生产”，我很认同。正确做法是让新旧模型并行跑两周，用业务真实流量做影子对比，只有新模型在固定题库和影子日志里同时表现更好，才逐步切流量。
科学推理是一个很好的压力测试方向，但离“完美智能体”还有距离。我自己在持续使用时的一个体会是：这条路走下来，最大的收获不是某个模型的分数，而是逐渐建立了一套“如何判断模型是否真的会做某件事”的方法论。这套方法论不会随着模型更新而过时，反而会在每次新模型出现时帮你更快看透它的真实水平。