AlphaEvolve:具备发现新知识、优化系统、改进算法能力的自动化代码进化代理系统

近日,DeepMind发布技术报告AlphaEvolve: A coding agent for scientific and algorithmic discoveryAlphaEvolve将程序结构与问题搜索紧密绑定,通过演化机制不断迭代,具备发现新知识、优化系统、改进算法的能力。

科学发现和算法创新往往涉及反复试验、探索、验证和回溯的复杂过程。随着大语言模型(LLMs)能力的飞跃,人们希望能借助其在生成、推理、代码理解方面的优势,推动科学发现和工程优化的自动化。然而,现有LLM系统虽然已在生成假设、设计实验等方面取得进展,但要实现完全自主的新科学发现仍极具挑战。

为解决这一挑战,DeepMind提出AlphaEvolve:一个结合演化算法与LLM能力的自动化代码进化代理系统,能够在给定问题与评估函数的前提下,自动生成、修改、评估和演化代码,从而改进算法性能、优化基础设施或提出全新科学发现。

AlphaEvolve: A coding agent for scientific and algorithmic discovery
一、AlphaEvolve架构与工作机制

AlphaEvolve以演化计算为基础架构核心,其整体流程为:人类用户定义问题与评估机制,提供初始可执行代码块和上下文信息;系统通过一组LLM(如Gemini 2.0 Pro与Flash)的协作,生成候选代码修改(diff);新代码提交评估器进行自动运行与打分;优质结果反馈到数据库,成为下一轮演化的种子。

演化流程包含以下几个关键模块:

  1. 任务定义与评估函数(evaluate):用户需提供可机器自动执行的评估函数ℎ,用于对任意候选程序输出一个标量或多维得分,作为演化方向的指导。
  2. 程序演化标记:AlphaEvolve支持代码标注演化区域(如# EVOLVE-BLOCK-START# EVOLVE-BLOCK-END),可灵活嵌入现有代码。
  3. 提示工程与上下文构建:LLM输入提示由系统采样先前成功程序,结合问题背景、人类注释、评估结果等构建,甚至允许元提示(meta-prompt)自我优化。
  4. 代码修改与生成:系统要求LLM以“搜索-替换”diff格式生成修改方案,便于精确追踪与代码审计。
  5. 评估流程:可配置多级评估、早期筛除、并行分布式执行以及LLM辅助打分等策略,提高效率与稳健性。
  6. 演化数据库与精英保留:采用结合MAP-Elites与“岛屿模型”的机制,平衡开拓性探索与对已有优质程序的优化。
二、典型应用场景与成果

AlphaEvolve展现出广泛的适用性,其应用范围涵盖算法设计、数学探索以及工业级系统优化。主要成果如下:

  1. 矩阵乘法算法改进:通过张量分解方法寻找低秩表示,AlphaEvolve在14个矩阵乘法任务上打破了已有最优解,包括4×4复数矩阵乘法首次突破Strassen算法提出56年来的记录,从49个乘法下降到48个。
  2. 数学问题求解:在50多个数学构造问题中,AlphaEvolve在约75%任务中重新发现已有最优构造,在约20%任务中发现新解,如Erdős最小重叠问题、11维Kissing Number提升至593,均为新SOTA。
  3. 工业系统优化
    • 在Google集群管理中改进了资源调度启发式函数,在生产系统中实现0.7%的资源回收;
    • 为Gemini模型的矩阵乘法核自动生成最优tiling策略,平均提升23%核运行速度;
    • 优化TPU乘法电路Verilog代码,验证正确性后用于后续芯片;
    • 在XLA编译生成的FlashAttention代码中进行直接优化,FlashAttention加速32%,前后处理加速15%。
三、技术创新与对比优势

相较前代系统如FunSearch,AlphaEvolve具备如下关键改进:

  • 演化整个代码文件而非单函数;
  • 使用强大LLM,支持多语言编程、多目标优化;
  • 大幅减少LLM调用次数,提高样本效率;
  • 支持复杂评估函数(可耗时数小时),并行计算显著提升迭代速度;
  • 支持长上下文输入与上下文自我演化(meta prompt)。

其能力远超传统演化编程(依赖手写变异规则)和AlphaTensor等特化系统,适用于更广泛的问题域与真实世界任务。

四、消融实验验证各模块贡献

消融实验在两个典型任务中展开:低秩张量分解与Kissing Number问题。结果表明,去除任何模块(如演化机制、上下文提示、元提示、自定义大模型)都会显著下降性能。尤其是无演化机制、无完整代码演化的情况,性能下滑最为严重,进一步印证AlphaEvolve多模块协同设计的必要性。

五、相关工作对比与方法地位

AlphaEvolve是LLM引导下的演化编码系统,在继承经典进化编程思想(如基因编程)的基础上,突破了手动设计变异算子的限制,自动构建搜索与优化策略。相比AlphaTensor等特化系统,其适用面更广;相比AlphaCode等以语言生成为核心的系统,其结合自动评估、演化数据库与多轮迭代探索,显示出更强的问题解决能力。

它同时也补充了如AI Co-Scientist等以自然语言假设生成为主的系统,在代码级构造问题求解、自动评估和逻辑可靠性方面展现出强大优势。

六、总结与前景展望

AlphaEvolve展示了前沿大模型结合演化策略在科学与工程问题上的强大潜力。在无需大量人类干预的情况下,它能发现新的科学解法、改进关键工业组件、并生成高质量的程序结构。其提出的“程序即解法”的范式,提供了一种比直接解答更具通用性和灵活性的探索路径。

未来,它可以作为通用科学探索引擎,被集成进自动化研究流程、编译器优化框架,或嵌入工程研发流程中,与人类科学家实现真正的协同发现。

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注