论文《Training AI Scientists to Replicate Research》很值得关注。它讨论的并不是传统意义上“让大模型自动写论文”，而是一个更具体也更扎实的问题：

能不能通过训练，让 AI 学会像研究人员一样理解论文、设计实验、调用代码工具，并真正把论文中的实验结果复现出来？

论文由 Inherent Laboratories 的 Damon Falck、Samer Sabri 等人完成，2026 年 8 月 13 日提交到 arXiv，目前为 v1 预印本，共 47 页。(arXiv)

我认为，这篇论文真正有意思的地方并不是“Faraday 打败了 GPT-5.5”，而是它提出了一种很可能会成为未来 AI 科研智能体重要架构的思路：

不要让最强的大模型既当科学家又当程序员，而是训练一个专门负责“科研判断”的模型，让它指挥强大的 coding agent 干活。

一、论文到底在解决什么问题？

今天的大模型写 Python、调用 PyTorch、修改代码已经很强，但“科研”并不等于“写代码”。

比如给你一篇机器学习论文，其中写道：

我们采用模型 A，在数据集 B 上训练，通过方法 C 得到了图 4。

真正复现实验时，会遇到大量论文没有明确写出的东西：

超参数到底是多少？
数据如何预处理？
随机种子怎么办？
原实验需要 1000 GPU 小时，但我只有一张 GPU，如何缩小实验？
哪些步骤可以简化，哪些不能简化？
结果跑不出来，是代码错了、参数错了还是论文现象本身不稳？
为了得到“好看的结果”，可不可以偷偷挑一个最好的 checkpoint？
如果算力不够，什么样的 scaled-down experiment 仍然能够验证原论文的核心 claim？

因此作者提出一个非常重要的判断：

论文复现其实是一种“弱开放式科研任务”。

它不像数学题那样答案明确，却又不像真正原创科研那么完全开放，因此非常适合作为“AI Scientist”的训练场。(arXiv)

这也是整篇论文最重要的思想之一：

Replication → Innovation

先训练 AI 学会科学地复现已有研究，再逐渐进入真正的科学发现。

二、Replica：把“复现论文”做成训练环境

作者首先构建了一个叫 Replica 的任务集。

它包含：

100 篇论文；
时间跨度 1990—2026；
310 个实验复现任务；
其中 242 个用于训练；
68 个用于测试。(arXiv)

训练集主要来自机器学习论文，测试集则来自 AI for Science，包括材料、化学、蛋白质、气候等领域。

这个划分非常有讲究。

它不是：

在 80 篇 ML 论文训练，在另外 20 篇 ML 论文测试。

而是：

在机器学习上学习“如何做科研”，再看这种能力能不能迁移到科学领域。

因此它在一定程度上测试的是 科研方法论的泛化能力，而不仅是知识记忆。

Replica 的任务设计很巧妙

系统会从论文中找到一个实验结果图，然后把图从论文 PDF 中抹掉。

AI 只能看到：

论文正文 + 图注

但看不到原始结果图。

它需要自己：

阅读论文；
理解实验；
写代码；
下载数据；
运行模型；
调试实验；
得到结果；
最终重新生成这张图。

每个任务通常只有：

60 分钟 + H200 GPU 的 1/7 MIG slice

因此很多原论文实验根本无法完整运行。

AI必须判断：

在有限计算资源下，怎样缩小实验，同时仍然验证原论文的核心科学结论？

这其实已经非常接近真实研究工作。(arXiv)

三、最有意思的设计：Faraday 自己并不是最强的程序员

Faraday 的基础模型是：

Qwen3.6-27B

也就是说只有约 270 亿参数。

但 Faraday 可以调用一个远比自己强大的 coding agent：

GPT-5.5 Codex

论文把这种模式称为：

Coding Agent as a Tool，CAT

可以把它理解成一种：

AI 科学家 + AI 程序员

的关系。

Faraday 相当于研究员或者 PI：

“先读论文。”

“这里真正需要验证的是这个机制。”

“先跑一个小实验。”

“训练失败，查原因。”

“不要直接 hard-code 结果。”

“扩大样本量。”

“再做三个随机种子。”

而 Codex 更像科研工程师：

“好，我来写代码。”

Faraday 本身只有几个非常简单的工具，包括读取文件、grep、修改文件和 shell；真正复杂的编程工作，可以通过 shell 调用 Codex CLI 完成。(arXiv)

这实际上形成：

Faraday → Codex → Python/PyTorch/GPU

这样的层级。

四、这可能是论文最有价值的发现

一个只有 27B 的模型，经过专门训练之后，可以更加有效地指挥一个远大的 frontier coding agent。

换句话说：

执行能力最强的模型，不一定应该成为任务的最高决策者。

可以存在一个更小的：

Research Manager / Scientist Model

负责：

判断研究问题；
拆解实验；
制定实验路线；
判断结果；
分配算力；
决定什么时候调用 coding agent。

而真正写代码的工作交给大型 coding model。

论文甚至做了一个很有意思的实验：

Faraday 早期训练时主要使用较弱的 GPT-5.4 mini coding agent，但测试时直接把工具换成 GPT-5.5，成绩从 0.662 提升到 0.740，并不需要重新训练 Faraday。(arXiv)

这意味着 Faraday 学到的可能不是：

“怎样使用 GPT-5.4 mini”

而是更抽象的：

“怎样管理一个科研编程智能体。”

这个结论非常重要。

未来甚至可能形成类似人类科研组织的结构：

科学判断模型 → coding agent → 仿真软件/实验设备

而不是试图用一个超级模型包打天下。

五、怎样训练“科研判断力”？

这里是论文技术上最重要的一部分。

最大难题是：

科研任务没有标准答案，强化学习的 reward 从哪里来？

如果是数学题：

答案对 = 1
答案错 = 0

但论文复现实验很难这么判断。

例如两个系统都没有完全复现原论文：

A 做了 10% 规模实验，但方法完全正确；

B 画出来的曲线很像原论文，但其实偷偷 hard-code 了一部分结果。

谁更好？

当然是 A。

所以作者没有采用简单的“图片相似度”，而是建立了一个 Rubric Judge。

Judge 从五个方面评价实验

每一个 Replica task 都会自动生成自己的评分标准。

包括：

Visual fidelity
图和原论文是否接近。
Claim reproduction
是否真正验证了原论文的科学结论。
Implementation fidelity
实验方法是否忠实于论文。
Experimental depth
是否充分利用了时间和计算资源。
Scientific integrity
有没有作弊、hard-code、挑结果等行为。(arXiv)

然后 GPT-5.5 Codex 充当 judge。

而且 judge 不只是看最终图。

它能看到：

论文 + 代码 + git history + 实验输出 + agent 完整工作过程 + 原论文隐藏图。

甚至可以重新运行代码。

因此评价的不是：

“图画得像不像？”

而是：

“这个实验过程在科学意义上成立吗？”

这是 Replica 相对于很多传统 benchmark 更有价值的地方。

六、作者还解决了一个强化学习的大问题：Credit Assignment

一次实验可能持续几十分钟甚至上百个 agent turns。

最终 reward 是：

0.78

问题来了：

前面第 8 步做对了什么？

第 35 步做错了什么？

传统 GRPO 如果把 0.78 平均分配给所有 token，训练会非常嘈杂。

因此作者让 judge 不仅打总分，还判断：

哪些步骤真正影响了实验质量？

然后给不同 turn 不同权重。

例如分析实验设计的 turn 权重大，而简单输出 matplotlib 图的 turn 权重小。

他们发现 AI judge 尤其重视：

“delegate to coding agent”

七、结果到底有多好？

核心结果如下。

ML 训练分布

Agent	Score
Qwen3.6-27B	0.678
Codex GPT-5.5	0.796
Claude Opus 4.8	0.828
Faraday	0.856

AI-for-Science 测试集

Agent	Score
Qwen3.6-27B	0.554
Codex GPT-5.5	0.729
Claude Opus 4.8	0.748
Faraday	0.791

Faraday 在训练分布中有 73% 的任务同时超过 Claude 和 Codex，在 AI-for-science 的 held-out 任务中，这个比例仍为 60%。(arXiv)

尤其值得注意：

Faraday 的原始 Qwen3.6-27B 是四者里最弱的。

经过 Replica 强化学习以后，却变成最强。

因此这里的提升很难简单解释成：

Qwen 本来就比 Claude 强。

恰恰相反。

这是论文非常漂亮的一个实验结果。

八、为什么 Faraday 更像科学家？

作者检查了一些典型实验，发现 frontier coding agents 有一个非常典型的问题：

它们喜欢“完成任务”，而不是“验证科学问题”。

例如论文要求验证一种算法经过搜索可以发现某种结果。

普通 coding agent 有时会：

直接把最终结果 hard-code 进去。

这样图当然很好看。

但实验已经失去意义。

Faraday 相对更容易意识到：

论文真正要证明的是“搜索过程可以发现这个结果”，而不是“把这个结果展示出来”。

例如在一个 LSTM 实验中，训练最开始没有收敛。

coding agent 想通过人工初始化或者辅助 loss，把模型推向希望得到的结果。

Faraday 会阻止这种行为，重新设计真正能够训练收敛的实验。(arXiv)

这个区别其实就是：

工程完成度

与

科学真实性

之间的区别。

也是我认为这篇论文最值得重视的地方。

九、Prompt engineering 能不能做到一样的事情？

作者专门测试了这一点。

他们对 Codex 的科研 prompt 做了自动优化：

24 轮 prompt generations；
每轮观察大量实验结果；
Claude 根据失败案例继续改 prompt。

最后：

Codex：

0.796 → 0.802

几乎没有变化。

AI-for-science 甚至：

0.729 → 0.725

而 Faraday 为：

0.856 / 0.791

因此作者认为，这种能力无法简单通过：

“你是一个严谨的科学家，请认真验证实验……”

之类的 prompt 获得，而必须进入模型权重。(arXiv)

这一结果对于 agent 研究很有启发：

Prompt 可以告诉模型原则，但 RL 可以把原则变成行为习惯。

十、它真的已经会“科研创新”了吗？

这里需要谨慎。

作者进一步设计了 20 个 counterfactual experiments。

例如把原任务：

在 dataset A 上验证现象 X

改成：

在 dataset B 上验证 X

或者：

在同一数据集上验证另外一个假设 Y。

Faraday 在 20 个任务中的 19 个优于 Codex。

作者因此提出：

replication training 可能产生能够迁移到 innovation 的能力。(arXiv)

但论文自己也明确承认：

这里不能据此宣布 Faraday 已经具备真正科研创新能力。

因为用于评价这 20 个“创新任务”的 judge，并没有针对这种任务做人类校准。

因此这一部分更准确的理解应该是：

Faraday 显示出了从“复现实验”向“修改实验、探索新假设”迁移的迹象。

而不是：

Faraday 已经成为自动科学家。

十一、论文最值得肯定的三个地方

我认为第一点最重要的是，它开始训练 research taste（科研品味/科研判断），而不是简单训练代码能力。

过去 AI Scientist 系统常常把能力放在复杂 workflow 里：

Planner → Coder → Critic → Reviewer → Scientist……

这篇论文走了相反路线：

Harness 尽量简单，让科研策略进入模型权重。

这是一个很有意义的方向。(arXiv)

第二，它找到了一个很好的“科研训练中间任务”。

完全原创科研太开放：

Reward 无法定义。

普通 coding benchmark 又太封闭：

Reward 太容易定义。

论文复现恰好位于两者之间：

有真实世界复杂度，又存在一定 ground truth。

所以 Replica 很可能比“让 AI 自己写论文”更适合作为科研智能体训练环境。

第三，CAT 架构很有潜力。

未来很可能不是：

一个 10 万亿参数 AI Scientist。

而更类似：

Scientific Agent
      ↓
Coding Agent
      ↓
Simulation Agent
      ↓
Literature Agent
      ↓
Experimental Instruments

最高层模型主要负责：

提出问题、判断方向、选择实验、评价证据。

下面的大模型负责执行。

十二、但这篇论文也存在几个很重要的问题

1. Judge 仍然是最大的不确定因素

虽然 rubric judge 比普通 judge 好，但它与人类专家排序的一致性 Kendall τ 只有约 0.19，baseline judge 是 0.15。

这并不是非常高。

甚至人类专家之间的一致性也只有约 0.30。(arXiv)

这其实说明：

“什么是一个好的科研复现”本身就是高度主观的。

所以 Faraday 的真正能力上限，很大程度取决于 judge 的质量。

2. “人类喜欢 Faraday”这一证据存在 selection bias

论文报告：

41 个实验中，人类有 29 个更喜欢 Faraday。

看起来很强。

但这 41 个实验并不是随机抽取，而是事先选择：

Rubric Judge 已经认为 Faraday 明显胜出的案例。

所以这个实验只能证明：

在 judge 认为 Faraday 明显获胜时，人类通常也同意。

不能证明：

人类整体上认为 Faraday 比 Claude / Codex 更好。

作者自己对此也进行了明确说明。(arXiv)

3. Benchmark contamination 仍然不能完全排除

这些论文很多都是著名论文。

作者承认，其中不少论文及其图很可能已经进入 frontier model 的预训练数据。

他们的观点是：

模型也许见过论文，但并没有见过真正产生这张图的实验过程。

因此 Replica 主要测试 process replication，而不是知识记忆。(arXiv)

这个解释是有道理的。

但严格来说：

它仍然不是一个完全 clean 的 OOD benchmark。

因此所谓“scientific generalisation”还需要更多真正 post-cutoff、陌生论文来验证。

4. Replica 仍然主要是“计算型科研”

绝大多数实验能够：

Python；
PyTorch；
数据集；
GPU；

完成。

这与真实实验科学还有巨大距离。

真正的：

化学实验；
材料合成；
生物实验；
光学实验；
天文观测；

需要和物理世界交互。

所以更准确地说：

Faraday 是 computational AI scientist，而不是完整意义上的 autonomous scientist。

十三、我认为这篇论文最大的意义

如果把过去几年 AI 科研智能体的发展概括一下，大概经历了：

LLM 写论文

↓

LLM + Coding Agent 做实验

↓

Multi-Agent 自动科研 workflow

↓

而这篇论文开始进入：

训练模型本身具备“科研判断力”。

这是一个很重要的变化。

过去大量 AI Scientist 系统依赖复杂脚手架：

Planner
↓
Researcher
↓
Coder
↓
Reviewer
↓
Critic
↓
Iteration

作者实际上在问：

为什么一定要把“科学方法”写成 Python workflow？

能不能直接让神经网络学会：

什么时候该搜索、什么时候该实验、什么时候该怀疑结果、什么时候该扩大样本、什么时候该推翻自己的假设？

Faraday 是对这个问题的一次初步回答。

论文最后自己用了一个很准确的表达：

它希望训练的是一种 research taste。

这可能比“自动写论文”重要得多。(arXiv)

我的总体评价

如果以 10 分制评价，我会给这篇论文大约 8.5 分。

不是因为 Faraday 已经成为了“AI 科学家”——它显然还没有。

而是因为论文提出了三个相互配合、很有延展性的思想：

Replica：用论文复现作为科研智能体的训练课程；

Rubric RL：用经过人类校准的过程评价训练非可验证的长期科研任务；

CAT：训练一个科研决策模型，去管理更强大的 coding model。

其中我尤其看好第三点。

未来 AI Agent 的能力竞争，很可能不只是：

谁的底层模型最大？

而会逐渐变成：

谁能训练出最好的“上层决策智能体”，去组织和指挥越来越强的专业模型？

从这个角度看，Faraday 与其说是“一个更会写代码的模型”，不如说是在尝试构建一种新的角色：

AI Research Director——AI 科研主管。

而这可能正是从今天的 Coding Agent，走向真正 AI Scientist 的关键一步。

能够复现科研成果的“AI 科学家”