当前位置：首页 > news >正文

MORL4PDEs：基于多目标优化与强化学习的数据驱动偏微分方程发现

news 来源：原创 2025/8/1 15:56:34

摘要：本文提出了一种结合多目标优化与强化学习的数据驱动方法MORL4PDEs，用于从复杂系统观测数据中发现简洁的偏微分方程（PDE）。该方法无需预定义候选函数库，通过神经网络代理生成符号表达式，结合遗传算法优化方程准确性与简约性，并利用强化学习更新模型。实验表明，MORL4PDEs能有效识别含高阶导数及复杂结构的PDE，在多个动态系统中表现优于传统方法。
关键词：偏微分方程发现多目标优化强化学习符号回归稀疏回归

1. 背景与挑战

偏微分方程（PDE）是描述物理现象与自然规律的核心数学工具。然而，针对复杂系统（如湍流、生物传热等）推导PDE的传统方法面临两大挑战：

复杂性高：系统常呈现强非线性与不确定性，理论建模困难；
候选函数库依赖：现有数据驱动方法（如SINDy、PDE-FIND）需预定义完整的候选函数项库，限制了方程形式的灵活性。

传统稀疏回归方法虽能通过正则化筛选关键项，但候选库的完备性直接影响结果质量。若库中遗漏重要项，则无法恢复真实方程。此外，进化算法虽能避免库依赖，但搜索空间有限，难以处理高阶导数与复合项。

2. 方法框架

MORL4PDEs的核心思想是将强化学习（RL）与多目标遗传算法（GA）结合，通过符号回归直接生成PDE表达式，流程如图1所示。
在这里插入图片描述

图1：MORL4PDEs工作流程，包含表达式生成、种群扩展与多目标优化三个阶段。

2.1 表达式生成器

PDE表达式以二叉树形式表示，节点由算子和操作数构成，符号库定义为：
$\mathcal{L} = \{+, -, *, /, \hat{~}2, \hat{~}3, \partial, \partial^2, \partial^3, \partial^4, u, x\}$

LSTM网络代理生成二叉树的前序遍历序列。例如，方程 $\partial u / \partial t = \partial^2 u / \partial x^2$ 对应的前序序列为[∂, ∂, x, u, x]。生成过程中施加物理约束：

必须包含空间变量 $x$ ；
运算符+和-出现次数不超过10次；
微分算子右子节点必须为 $x$ （避免 $\partial x / \partial x$ 等无效项）。

2.2 种群扩展与多目标优化

初始种群由LSTM生成，随后通过遗传算法（交叉、变异）扩展搜索空间。关键操作包括：

交叉：交换两棵树的子树（如图2a）；
变异：替换节点、删除分支、添加子树或替换子树（如图2b）。

在这里插入图片描述

图2：交叉与变异操作示例。（a）交叉交换子树；（b）变异替换节点。

在这里插入图片描述

为平衡准确性与简约性，引入NSGA-II多目标优化算法，目标函数为：
$\begin{aligned} F_1 &= \frac{\|\Theta(u,x) \cdot \xi - u_t\|_2^2}{N} \quad (\text{准确性}), \\ F_2 &= \alpha \cdot k \quad (\text{简约性}, k为项数) \end{aligned}$

2.3 强化学习优化

以PDE表达式为奖励信号，采用风险寻求策略梯度更新LSTM网络参数。奖励函数综合考虑拟合误差与方程复杂度，鼓励生成简洁且高精度的表达式。

3. 实验与结果

3.1 研究案例

为了全面验证MORL4PDEs方法的有效性和稳健性，选取了六个具有代表性的PDE作为研究案例。这些PDE涵盖了不同类型的复杂方程，包括具有高阶微分项和复杂结构的方程，传统方法在处理这些方程时往往面临困难
在这里插入图片描述

Burgers方程是典型的非线性方程，在流体力学、声波传播等领域有着广泛的应用。
KdV方程由Korteweg和de Vries提出，用于描述波传播的非线性效应。
Kuramoto-Sivashinsky方程最初由Kuramoto和Sivashinsky提出，常用于描述涡旋动力学、化学反应等空间耗散系统的动力学，其微分项高达四阶。
Chafee-Infante方程同时包含指数项和导数项，用于描述自由边界问题，属于反应扩散方程。
PDE_divide和PDE_compound则是具有分数结构和复合函数的方程，这类方程无法用封闭形式的方法发现。
通过对这些不同类型方程的研究，可以充分展示MORL4PDEs在处理复杂PDE发现问题上的能力。

3.2 PDE发现结果

在实验中，为LSTM模型选择了一个具有32个隐藏节点的单层LSTM。将MORL4PDEs方法与其他基于遗传算法的方法进行对比，结果显示MORL4PDEs是唯一能够发现所有六个方程的算法。
表2 不同方法在六个数据集上的性能对比

方法	发现的PDE	系数误差(%)	MSE	RIR(%)
SGA	$u_t = -0.9934uu_x +0.1063u_{xx}$	3.48±2.82	5.30×10⁻⁵	99.077
DLGA	$u_t = -0.9954uu_x +0.0994u_{xx}$	0.52±0.06	1.93×10⁻⁵	97.466
MORL4PDEs	$u_t = -1.0011uu_x +0.1024u_{xx}$	1.26±1.14	4.89×10⁻⁷	-

从表2可以看出，与SGA和DLGA相比，MORL4PDEs在发现方程的系数误差、均方误差（MSE）等方面表现更优。例如在Burgers方程的发现中，MORL4PDEs得到的方程 $u_{t}=-1.0011uu_{x}+0.1024u_{xx}$ ，其系数误差为 $1.26 \pm 1.14\%$ ，MSE为 $4.89 \times 10^{-7}$ ，明显优于其他方法。通过图4中MSE的可视化结果也能直观地发现，MORL4PDEs的MSE比其他方法小得多。此外，引入相对改善率（RIR）来衡量MORL4PDEs相对于其他方法在MSE上的改进，结果表明MORL4PDEs发现的方程形式与正确方程的形式相同。以Burgers方程为例，在每次迭代中，MORL4PDEs都能不断优化，如图5展示了每次迭代中奖励最高的二叉树序列，随着迭代的进行，奖励不断提高，方程也越来越接近真实情况。
在这里插入图片描述

3.3 模型比较

表3 不同方法对PDE发现的能力对比

方程类型	PDE-FIND	PDE-net	DL-PDE	EPDE	DLGA	SGA	MORL4PDEs
Burgers	✔️	✔️	✔️	✔️	✔️	✔️	✔️
KdV	✔️	✔️	✔️	✔️	✔️	✔️	✔️
Chafee-Infante	✔️	✔️	✔️	✔️	✔️	✔️	✔️
PDE_compound	❌	❌	❌	❌	❌	✔️	✔️
PDE_divide	❌	❌	❌	❌	❌	✔️	✔️
KS	✔️	❌	❌	❌	❌	❌	✔️

将MORL4PDEs与一些现有的流行方法进行比较，结果如表3所示。PDE-FIND作为经典的稀疏回归算法，由于需要构建候选函数库，无法处理具有分数结构和复合函数的PDE_divide和PDE_compound。DL-PDE同样存在这个局限性，并且其使用神经网络自动微分获取导数项的方式，对观测值的拟合要求较高，否则导数项误差较大，在处理Kuramoto-Sivashinsky方程这类高阶导数方程时效果不佳。PDE-net是一种封闭库方法，只能发现部分简单的方程。DLGA在DL-PDE的基础上引入遗传算法，但由于仅以不同阶数的导数作为基本变异单元，搜索空间有限，无法发现复杂形式的PDE。EPDE与DL-PDE类似，也只能处理部分简单方程的发现。SGA虽然可以发现开放形式的PDE，但在处理具有高阶导数项的Kuramoto-Sivashinsky方程时，由于搜索空间过大，无法获得正确的组合形式。相比之下，MORL4PDEs结合了神经网络引导搜索与遗传算法的优势，在确保搜索空间完整性的同时加速收敛，能够成功发现具有高阶导数和复杂形式的方程。

3.4 消融实验

为了深入探究遗传算法组件在MORL4PDEs中的重要性，进行了消融实验。去除遗传算法组件后，单独运行LSTM，对比“仅LSTM”和“使用GA”两种情况。

“仅使用LSTM” 表示仅通过神经网络生成的个体进行优化和更新，而 “结合GA” 表示在前者的基础上加入遗传算法（GA），并对两种方法生成的个体进行融合优化和更新。实验中比较了两种方法的迭代次数。
在这里插入图片描述

实验针对四个不同类型的方程展开，包括非线性的KdV方程、含有分数项的PDE_divide方程、包含指数和导数项的Chafee-Infante方程，以及包含高阶导数项的Kuramoto-Sivashinsky方程。从图6的结果可以看出，在KdV方程、PDE_divide方程和Chafee-Infante方程的求解中，虽然“仅LSTM”和“使用GA”两种方法都能发现方程的正确形式，但添加遗传算法后，迭代次数明显减少，这充分表明遗传算法能够加速收敛。而在处理Kuramoto-Sivashinsky方程时，“仅LSTM”方法无法收敛并发现正确的方程形式，这进一步证明了遗传算法通过交叉和变异算子扩展搜索空间、覆盖最优解、发现更复杂方程的重要作用。

3.5 敏感性分析

对影响MORL4PDEs模型的三个重要参数进行敏感性分析，分别是LSTM中每层的节点数、LSTM的层数，以及每次LSTM训练步骤中遗传算法的迭代次数。
在这里插入图片描述

在确定LSTM节点数和层数的影响时，仅使用LSTM对表达式个体进行优化，遗传算法部分不参与。对KdV方程的实验结果如图7和图8所示。当LSTM每层节点数为16时，收敛速度较慢，这是因为节点较少，模型的表达能力不足。而当节点数为32、80和128时，模型表现出良好的收敛性能。综合考虑模型复杂度和性能，32个节点是最佳选择。在研究LSTM层数的影响时，将每层节点数设置为32，对比1、2、3和4层的情况。结果发现，模型的收敛速度与层数并不成正比，单层LSTM就可以实现良好的性能，增加层数并不能加快收敛速度。这是因为神经网络在该模型中的主要作用是基于奖励函数优化生成的表达式，而非拟合数据。

对于每次LSTM训练步骤中遗传算法的迭代次数，同样在KdV方程上进行实验，结果如表4所示。当遗传算法迭代次数设置为10和15时，找到最优方程需要更多的训练轮次。设置为20和30时，性能最佳。而当迭代次数为50时，性能反而变差。这是因为遗传算法迭代次数与搜索空间成正比，迭代次数过小时，进化算法无法充分覆盖最优解；迭代次数过大时，会导致搜索空间过大，增加时间复杂度。对于每次LSTM训练步骤中遗传算法的迭代次数，同样在KdV方程上进行实验，结果如表4所示。
表4 GA迭代次数对模型的影响

GA迭代次数	10	15	20	30	50
找到最优方程迭代次数	27	27	9	8	28

当遗传算法迭代次数设置为10和15时，找到最优方程需要更多的训练轮次。设置为20和30时，性能最佳。而当迭代次数为50时，性能反而变差。这是因为遗传算法迭代次数与搜索空间成正比，迭代次数过小时，进化算法无法充分覆盖最优解；迭代次数过大时，会导致搜索空间过大，增加时间复杂度。

3.6 计算复杂度分析

在进行计算复杂度分析时，定义 $n$ 代表数据大小， $m$ 表示偏导数项的数量。MORL4PDEs模型首先使用LSTM智能体生成 $N$ 个表达式样本，接着执行 $S$ 轮遗传算法，最后选择前 $M$ 个样本与之前的 $N$ 个样本合并进行进一步评估和迭代。这里 $n$ 可以无限增加，而 $N$ 、 $M$ 和 $S$ 是常数超参数。

在每次迭代中，样本选择涉及的稀疏回归是主要计算成本所在。在传统的PDE-FIND和DL-PDE模型中，稀疏回归的计算复杂度（包含矩阵求逆）用大O符号表示为 $O(n^{3})$ 。而在MORL4PDEs中使用的STRidge算法，其回归迭代次数不随数据大小 $n$ 增加，而是随候选偏导数项的数量 $m$ 增加。由于MORL4PDEs用操作数项替代候选项、合理约束二叉树深度并强调方程简洁性，与传统基线模型相比， $m$ 的值更小，每次迭代中的偏导数项数量减少，从而有效降低了计算复杂度。

4. 结论

MORL4PDEs通过RL与GA的协同优化，突破了传统PDE发现方法对候选函数库的依赖，能够高效生成简洁且高精度的方程。未来工作将扩展至高维PDE及实际工业场景应用。