MIT新突破！SDE框架揭示大语言模型科研能力真相，记忆不再是王道？-编程阁

简介

本文介绍了MIT开发的SDE（科学发现评估）框架，该框架通过场景化问答和闭环发现任务，评估大语言模型在真实科研场景中的能力。研究显示，当前顶级模型在传统科学考试中表现优异，但在SDE框架下明显不足，表明它们主要依靠记忆而非真正的科学发现能力。此外，研究还发现增加推理步数无法持续提升模型在复杂科学发现任务中的性能，揭示了现有模型在科学发现方面的局限性。

第一阶段：识别核心概念

论文的 Motivation 分析

当前的大语言模型（LLM）在各类通用科学考试（如 GPQA）中表现惊人，甚至超越了人类专家。然而，这些测试大多是“去脉络化”的知识问答，类似于让学生背诵课本。真实的科学发现过程包含提出假设、设计实验、解释数据等复杂的迭代环节。作者发现，现有的评估体系无法衡量 LLM 作为一个“科学研究者”的真实能力，导致我们无法判断模型是否具备真正的“科学直觉”或“发现潜力”。

创新点分析

SDE（Scientific Discovery Evaluation）框架：这是论文的核心创新。它不再仅仅测试模型“知道什么”，而是测试模型在具体科研场景中“能做什么”。该框架将评测分为“问题级”和“项目级”两个维度。
场景化问答（Scenario-tied Items）：不同于传统的随机采样问题，SDE 的问题是直接从真实研究项目中拆解出来的，考查模型在特定研究节点上的决策能力。
闭环发现任务（Closed-loop Discovery Projects）：模型被放入一个自动化的循环中，需要根据模拟器的反馈，自主优化科学目标（如寻找高极化率的分子）。

理解难点识别

发现循环的闭环优化：如何将 LLM 作为优化器，在海量的化学空间或物理空间中进行搜索，并利用模拟器的反馈（Oracle feedback）进行自我更新。
推理能力的瓶颈（Reasoning Plateau）：论文揭示了一个现象：在某些复杂的科学发现任务中，单纯增加模型的推理步数（Reasoning tokens）并不能带来持续的性能增长。

概念依赖关系

研究领域（Biology/Chemistry/Physics/Materials）是基础，在其之上构建科研场景（Scenario）。场景问题考查模型的静态知识链条，而研究项目（Project）则是多个场景的串联，考查模型动态的闭环优化能力。

第二阶段：深入解释核心概念

设计生活化比喻：从“知识竞猜”到“实验室学徒”

传统评测：就像是参加《一站到底》之类的知识竞猜，题目问你：“光速是多少？”或者“DNA 的结构是什么？”你只要记忆力好就能赢。
SDE 框架：就像是带你进入一个真实的化学实验室。教授（专家）不问你课本定义，而是给你一个半成品的实验数据，问你：“根据现在的磁共振谱图，你觉得下一个反应步骤应该加什么催化剂？”或者让你自主设计出一种在特定高温下不会熔化且导电性最好的新材料。

比喻与实际技术的对应关系

竞猜题目：对应 LLM 的去脉络化静态 Q&A，只需匹配训练语料。
学徒实操：对应Scenario-grounded Questions。这些问题包含实验观察数据，考查的是逻辑推理。
新材料设计任务：对应Project-level closed-loop discovery。模型通过循环迭代（进化搜索），不断“试错”并学习。

深入技术细节

在 SDE 的项目评估中，模型需要处理“符号回归（Symbolic Regression）”任务，即从实验数据中找回物理公式。作者使用准确率阈值来衡量模型是否“找回”了公式。

原始数学形式：

符号替换版本：公式找回成功标志 ()=指示函数（如果括号内条件成立则为 1，否则为 0）。括号内条件为：**(针对所有测试数据点 )** 找到的(预测值与真实值之间的最大相对误差)是否 **(小于等于容忍阈值 )**。

为了衡量模型整体预测的稳定性，作者使用了归一化均方误差（NMSE）：

符号替换版本：标准化误差得分 (NMSE)=(模型所有预测误差的平方总和)除以 **(原始数据点相对于其平均值的总波动程度)**。

技术细节与比喻的映射

Acc 阈值：就像教授要求学徒预测反应的产率。如果你的预测和真实结果的偏差小于 10%（即），就算你这次任务合格。
NMSE：就像是评估学徒在整个学期内表现的平稳性。如果你的预测误差比原始数据的随机波动还要大（NMSE ），说明你还没入门。
比喻局限性：实验室学徒可能会因为实验操作（比如试管洗不干净）导致失败，而 LLM 面对的是纯粹的逻辑和数值环境。

第三阶段：详细说明流程步骤

1. 科学场景与问题集的自动化构建流程

输入：开源科学数据集（如 NMR 谱图库、物理实验记录）以及专家的逻辑模板。
处理：系统将结构化的科学数据（如分子式 C18H22N4O5S）转化为自然语言描述，并结合科研场景（如结构鉴定）生成具有逻辑梯度的问答。
输出：包含 1125 个专为科研设计的专家级问题集。

2. 项目级闭环发现（SDE-Harness）的执行流程

第一步：初始化（Initialization）。输入研究目标（例如：设计一种高极化率的过渡金属配合物）。LLM 根据背景知识生成第一批 20 个候选候选分子的 SMILES 字符串。
第二步：模拟反馈（Simulation/Oracle）。将 LLM 生成的分子输入专业模拟软件（如molSimplify或GFN2-xTB）。软件计算分子的物理属性（如 HOMO-LUMO 能级差、极化率）。
第三步：知识整合与优化（Iterative Refinement）。系统将“分子结构”及其对应的“性能评分”反馈给 LLM。LLM 分析这些数据，识别性能好的分子的特征。
第四步：新假设生成（Evolution）。LLM 执行“交叉”或“变异”操作，生成 10 个新的分子，并替换掉性能最差的旧分子。
输出：经过 20 轮迭代后，系统输出模型找到的极化率最高的分子序列及对应的优化轨迹。

3. 具体流程伪代码逻辑

模型接收任务目标和初始池。在每一轮循环中，模型提取当前池中表现最好的样本作为上下文提示，生成新的候选方案。调用外部科学工具验证方案的真实性能值。最后将性能值更新至历史库，直到达到最大调用限制。

第四阶段：实验设计与验证分析

主实验设计：科学发现能力的性能鸿沟

核心主张：通用榜单上的高分掩盖了 LLM 在科研场景中的乏力。
实验设计：对比了 GPT-5, o3, Claude-3.5-Sonnet, DeepSeek-R1 等顶级模型。
评价指标：除了基础准确率，还引入了发现任务的解决率（Solve Rate）。
结果分析：模型在 GPQA 上的得分远高于 SDE。这直接证明了LLM 的“科学能力”主要来源于记忆，而非发现新知识的逻辑推演能力。

消融实验分析：推理层级的贡献

验证点：增加“思考过程（Reasoning Tokens）”是否能解决科研难题。
消融方式：对比模型在 None, Minimal, Low, Medium, High 五种推理 effort 下的性能。
结论：在物理公式找回和生物序列优化中，推理算力在到达某个层级后性能趋于平缓（Plateau）。这巩固了作者的观点：科学发现需要特定的领域训练，而非通用的逻辑推理。

深度与创新性实验剖析

SDE-Hard 压力测试：作者专门挑出了所有模型都无法解决的 86 个“噩梦级”科研题目。
共性失败分析：发现尽管模型提供商不同，但它们在这些题上的错误模式高度一致。这揭示了现有的 LLM 可能都共享了类似的训练数据偏向。
发现潜力可视化：通过展示过渡金属配合物优化的收敛曲线（如图 4b），作者证明了 Claude-3.5-Sonnet 在初期收敛更快，而 DeepSeek-R1 搜索范围更广。这种分析揭示了不同模型在“科研性格”上的差异。

在大模型时代，我们如何有效的去学习大模型？

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 更优质的项目可以为未来创新创业提供基石。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；
第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

PPTist：浏览器里的专业演示神器，让创意表达更简单

MIT新突破！SDE框架揭示大语言模型科研能力真相，记忆不再是王道？