论文“Global Lyapunov functions: a long-standing open problem in mathematics, with symbolic transformers”提出了一种从随机解生成合成训练样本的新方法，并证明在这些数据集上训练的sequence-to-sequence（序列到序列）transformer在多项式系统上表现优于算法求解器和人类，并且能够为非多项式系统发现新的Lyapunov函数（李雅普诺夫函数）。该研究不仅解决了数学领域中的关键问题，也展示了AI在科学发现中的巨大潜力。未来，随着模型的规模扩展、验证工具的改进以及解释性的增强，AI在数学和科学研究中的应用将会变得越来越广泛和深刻。这项研究为AI与数学结合的进一步发展奠定了基础，具有非常重要的理论和实践意义。
论文作者为Alberto Alfarano, François Charton, Amaury Hayat，来自Meta和巴黎理工学院（Institut Polytechnique de Paris）。
论文概要内容如下：
1. 研究背景与动机
Lyapunov函数在控制理论和动力系统分析中是一个至关重要的概念，特别是用来判断系统的全局稳定性问题。Lyapunov函数通过为动力系统定义一个非负的函数（通常类似于能量函数），可以帮助确认系统是否会随着时间趋于稳定。然而，对复杂系统而言，如何找到合适的Lyapunov函数，尤其是确保全局稳定的Lyapunov函数，一直是一个非常困难的数学问题。
1.1 Lyapunov函数的历史与挑战
Lyapunov稳定性理论由俄罗斯数学家Aleksandr Lyapunov在1892年提出，旨在为评估动态系统的稳定性提供一种通用的方法。理论上，如果能找到某个Lyapunov函数，便可以证明该系统的稳定性。然而，构造这种函数在实践中通常相当困难。特别是，当系统的动力学方程变得复杂（如非线性、多变量或非多项式系统）时，找到Lyapunov函数的难度会成倍增加。
传统的Lyapunov函数发现方法如SOSTOOLS等工具，依赖于求解半定规划问题来构造”求和平方”（Sum-of-Squares, SOS）形式的Lyapunov函数。然而，这种方法有几个局限性：
- 计算资源限制：随着系统维度的增加，计算的复杂度急剧上升。对于多变量或高阶系统，这些方法会因为计算资源的限制而难以有效使用。
- 适用范围有限：大多数现有工具只适用于某些特定的多项式系统，且需要满足一系列严格的条件，通常只能找到局部或半全局的Lyapunov函数。
论文作者指出，数学中的许多开创性工作，如Newton在三体问题上的研究、Lagrange和Poincaré对动力学系统长期稳定性的探索，都依赖于Lyapunov理论。然而，至今为止，尚没有一种通用的方法能够找到大多数复杂动力学系统的Lyapunov函数。因此，解决这个问题被认为是展示AI在复杂数学推理能力方面突破性进展的一个重要里程碑。
1.2 动力系统的稳定性分析
动力系统的稳定性问题可以简单描述为：在一个系统被轻微扰动后，其状态能否最终回到原来的稳定状态。特别地，对于如下形式的动力系统： x˙=f(x)其状态向量 x 的稳定性可以通过定义某个Lyapunov函数 V(x)来验证。一般地，如果存在一个函数 V(x)满足以下条件：
- V(x)≥0, 并且当 x≠0时严格 V(x)>0
- 当 ∥x∥→∞时， V(x)→∞
- V(0)=0
- 函数 V 对 f(x)的导数（即沿系统轨迹的方向导数）总是非正的：∇V(x)⋅f(x)≤0
那么可以证明系统是稳定的。Lyapunov函数的意义类似于一个“能量”函数，系统的能量随着时间逐渐减少，最终趋于零，从而保证系统的全局稳定。
2. 论文的研究目标与方法
论文的目标是提出一种基于transformer模型的自动化方法，用以发现确保动力系统全局稳定的Lyapunov函数。具体来说，论文提出了一种新的训练数据生成方法，并使用这些数据训练了sequence-to-sequence模型，以提高在多项式系统上的求解能力，以及在非多项式系统中发现Lyapunov函数的能力。
2.1 合成数据的生成方法
在训练语言模型时，缺乏高质量、标注明确的训练数据往往是一个巨大瓶颈。为了应对这一问题，论文提出了一种创新的“向后生成”方法，用于从已知的Lyapunov函数生成相应的系统。这个方法的基本思想如下：
- 生成Lyapunov函数：首先随机生成满足Lyapunov条件的函数，确保其有正定性和单调性。
- 构造动力系统：基于生成的Lyapunov函数，构造满足稳定性条件的动力系统。具体来说，通过构造一种特殊的系统函数，使得Lyapunov函数的条件在该系统下始终成立。
- 训练数据构造：通过上述方法生成大量系统及其对应的Lyapunov函数对，将其作为训练数据来训练语言模型。
这种“向后生成”方法与以往的“正向生成”方法（即从系统构造Lyapunov函数）形成了鲜明对比。在正向生成中，往往需要借助复杂的算法工具（如SOS求解器）来找到Lyapunov函数，而向后生成方法通过随机生成Lyapunov函数并构造对应系统，克服了传统方法在计算复杂性和适用范围上的限制。
2.2 模型训练与评价
论文使用了基于transformer架构的sequence-to-sequence模型来处理Lyapunov函数发现任务。训练过程中，模型的输入是动力系统的符号表达式，而输出则是对应的Lyapunov函数。这类任务本质上是一个“翻译”问题：将一个数学系统的描述转换为其稳定性的证据（即Lyapunov函数）。
模型的评价包括对多项式系统和非多项式系统的测试，并且使用了不同类型的验证器来确保生成的Lyapunov函数满足其稳定性条件：
- 数值验证器：通过数值方法对Lyapunov函数进行验证，以确认其在系统轨迹上的单调性。
- 符号验证器（SMT求解器）：使用符号方法对生成的Lyapunov函数进行验证，以保证其符号表达式符合Lyapunov条件。
3. 实验设计与结果
论文通过大量的实验验证了所提出方法的有效性，主要实验设计包括：
- 数据集的构建：构造了不同类型的数据集，包括多项式系统数据集（BPoly）、非多项式系统数据集（BNonPoly）、前向生成的Lyapunov函数数据集（FLyap）等。
- 模型性能的评价：通过在合成数据集和实际的数学问题集上进行测试，评估了模型在发现Lyapunov函数任务上的性能。
3.1 实验结果
- 在多项式系统上的性能：模型在多项式系统上的表现明显优于现有的SOTA工具。例如，在现有方法可以求解的多项式系统上，模型的正确率达到了10.1%，相比之下，现有技术仅能达到2.1%。
- 在非多项式系统上的突破：对于非多项式系统（即无法用现有工具求解的系统），模型能够为12.7%的系统找到Lyapunov函数，证明了其在复杂数学问题上的潜力。
- 数据集混合的优势：作者还研究了混合训练数据对模型性能的影响。通过向向后生成的数据集中添加少量的前向生成样本，模型在不同分布数据集上的性能得到了显著提升。这表明，增加少量已知解的系统样本有助于提高模型在不确定环境下的泛化能力。
4. 研究贡献与技术突破
论文的主要贡献和技术突破包括以下几个方面：
4.1 合成数据生成的创新方法
现有的数学AI研究大多集中在已知解的问题上，例如符号积分、算术运算等。该论文的创新之处在于，利用Lyapunov函数的“向后生成”方法，成功生成了大量的合成数据，从而使得模型能够在不依赖复杂求解器的情况下得到训练。这种方法不仅扩展了数学问题的数据集生成方式，而且通过与随机样本的结合，拓宽了Lyapunov函数的可解范围。
4.2 transformer模型在数学推理中的应用
论文展示了transformer架构在数学推理中的应用潜力。不同于传统的基于逻辑推理和规则发现的方法，该论文采用了生成式模型来猜测可能的Lyapunov函数。尽管transformer模型在很多逻辑推理任务中表现不佳，但该研究证明了，合理的训练数据生成和任务构建能够使transformer在复杂数学问题中表现优异，甚至超越了传统方法和人类表现。
4.3 在数学问题解决上的新工具
论文提出的AI方法为数学家提供了一种新的工具。传统的数学问题解决通常需要深入的理论推导和复杂的推理过程，而AI模型可以提供大量可能的解决方案，数学家则可以对这些解决方案进行筛选和验证，从而加快问题解决的速度。这种结合了AI和人类专业知识的工作模式，为未来数学研究提供了新的可能性。
5. 研究的局限性与未来展望
尽管该研究取得了显著的成果，但也存在一些局限性：
5.1 局限性
- 系统规模的限制：目前的实验主要集中在较小的系统上（例如，最多包含5个方程的多项式系统和3个方程的非多项式系统）。对于更高维度的复杂系统，模型的适用性尚未得到验证。
- 不可解释性：模型的推理过程是一个黑箱，其如何生成Lyapunov函数的细节无法被完全解释。对于数学家而言，这种不可解释性可能限制了模型在严谨数学研究中的应用。
- 验证方法的不足：由于缺乏对随机生成非多项式系统的普适验证方法，模型在这些系统上的性能缺乏严格的数学证明，这可能导致在某些情况下，生成的Lyapunov函数并非真正符合稳定性条件。
5.2 未来的研究方向
- 扩展系统规模与复杂性：未来的研究可以通过训练更大规模的transformer模型，尝试解决包含更多变量、更高阶的动力系统。这将使AI方法适用于更多实际中的复杂系统。
- 引入解释性模型：未来可以探索引入解释性更强的生成模型，使数学家能够理解AI的推理过程，从而提升其在数学研究中的可信度和应用性。
- 结合数学家的领域知识：未来的方向之一是将数学家的领域知识与生成模型相结合。例如，数学家可以为AI模型提供初始的线索或限制条件，从而缩小搜索范围，提高生成Lyapunov函数的有效性和准确性。
- 开发更强大的验证工具：为确保生成的Lyapunov函数在复杂系统中的正确性，未来可以进一步开发更强大、通用的验证工具，特别是针对非多项式系统。