如何求解随机微分方程？

coolboy

流动可以是以湍流的形态出现，描述湍流以及相关的一些现象通常会用随机变量或及随机函数。当一个微分方程以及它的初边条件出现随机变量时，我们就称之为随机微分方程。以前曾遇到过求解随机微分方程的具体特例。现在突然意识到那些特例应该就是求解任何随机微分方程的一般性方法的特殊处理而已。所以，也就突然冒出了现在的问题：一般情况下，如何求解随机微分方程？

大家先想想看，一般的求解步骤恰恰是应该比那些特殊的处理方法思路上要简单！

（待续）

coolboy

再解释一下，只有微分方程中的系数或方程的初边条件中出现随机变量时，我们才称之为随机微分方程。当然，这时方程的解也是随机变量。例如，研究湍流运动的的世界名著中（Monin and Yaglom，1971，1975），作者运用了大量的概率统计学来研究解的随机、统计特性，但对纳维－斯托克斯方程本身，包括其（系宗或即集合）平均方程或扰动方程，都是作为确定性方程进行求解的。在Monin and Yaglom的专著中，作者也求解了随机微风方程，但那不是纳维－斯托克斯方程。又例如，在Monin和Yaglom专著的最后一章(第十章)曾讨论到求解纳维－斯托克斯方程解的特征函数的方程的问题。若知道了某一随机过程的分布函数，则也就知道了该随机过程的所有特性。此外，若知道了某一随机过程的特征函数，则也就知道了它的分布函数(这是因为特征函数是分布密度函数的傅立叶变换)。在一定条件下，这描述湍流随机过程的特征函数的方程刚好与量子力学中的薛定谔方程(表示)相类似。在此，求解纳维－斯托克斯方程解的特征函数的方程确实是把原方程及其解看作是随机过程，但那特征函数及其方程却还是确定性函数和方程。

既然是微分方程，那就必然包含微分项。一说到“微分”，自然也会涉及到函数的连续性、可微性等一大串问题。随机变量由于其不确定性是无法在传统意义上定义“微分”的。所以这里所说的随机微分方程其实是从原始的确定性方程演化而来的。一个描述某物理过程的确定性方程由于方程中的系数和方程的初边条件变成了不确定的随机变量或随机函数，此时，方程的解也必然是随机函数。该如何求解此类方程？

现在我们回到正题：一般情况下，如何求解随机微分方程？

References:
Monin, A. S., and A. M. Yaglom, 1971: Statistical Fluid Mechanics: Mechanics of Turbulence. Vol. 1. MIT Press, Cambridge, Massachusetts, 769 pp.
Monin, A. S., and A. M. Yaglom, 1975: Statistical Fluid Mechanics: Mechanics of Turbulence. Vol. 2. MIT Press, Cambridge, Massachusetts, 874 pp.

（待续）

coolboy

根据如上所述的随机微分方程的含意或定义，原则上我们就可以直接从定义出发求解随机微分方程。例如，若某随机微分方程的初始条件是一个随机变量或即满足一定随机分布函授的空间场，则我们便可以此而产生出N个确定空间函数的实际样本。对每一个样本所代表的初始条件分别求解微分方程，结果我们便得到了微分方程的N个解。这N个解实际上就对应着原随机微分方程的随机函数解的N个样本。我们不一定可以推断出随机函数解的分布函数，但原则上我们可以根据这N个样本求出它的平均、方差以及各高阶距。从这个意义上来讲，我们确实已经完整地求解了给定随机初始场的随机微分方程。

用此方法直接求解随机微分方程的一个应用实例就是一类数值天气预报模式，称之为集合预报模式（Ensemble Prediction System）。我们把实际大气看作流体，则描述天气实际变化的微分方程刚好就是著名的纳维－斯托克斯方程。我们把观测到的今日的天气状态作为方程的初始条件来求解纳维－斯托克斯方程，则我们就可以预报明、后天或下周的天气。由于种种原因，我们实际观测到的天气状态其实是带有很大的不确定性的。换句话说，我们观测到的作为初始条件的输入变量是一个随机变量。从而，我们实际上是在求解一个随机微分方程，所得的解也是带有一定不确定性的随机变量。集合预报模式就是通过求解多个初始条件或物理参数略有差异的预报模型（即求解纳维－斯托克斯方程），生成多组预报结果，以此分析未来天气变化的概率分布。

直接从定义出发求解方程的思路常常是比较耗时但确也总能在一般情况下获得解的“笨办法”。对某些特殊但又非常重要的方程，一些巧妙的方法则可以大大地简化求解过程。对于随机微分方程的求解尤其是如此。下面介绍一种特殊的令人叫绝的巧妙方法用于求解一类重要的随机微分方程。

（待续）

coolboy

上面所述的针对随机变量的每个每个样本重复求解微分方程的方法显然是非常耗时的。现在来说说一类可以有效地、一次性求解的随机微分方程。这类特殊的随机微分方程至少具有如下的基本特点：出现在方程左端的含有因变量的微分算子只包含确定性函授，而所有的随机变量只包含自变量并作为外源项出现在方程的右端。在这种情形下，由于微分算子是确定性算子，我们只要求解一次就能获得原方程的积分解。也就是说，我们可以把原随机微分方程的解表达成关于右端（随机）源函数的积分。上门提到随机函数的微分由于函数的不确定而无定义。但随机函数的积分是有定义的。例如，随机函数的期望值就是求它的积分而得。

这里，我们举例说明下面三种情形的实际应用：
（1）左端的微分算子是一简单表达式，从而原随机微分方程的解也就是右端随机源函数的简单积分；
（2）左端的微分算子是一个线性算子，从而原随机微分方程的解就是对应于该线性算子的格林函数与右端随机源函数的卷积；
（3）左端的微分算子是一个非线性算子，但原随机微分方程的解可通过扰动法进行线性化、叠代以求得近似解。

（待续）

coolboy

（1）大家在学习数理方程或即偏微分方程课程时，常常是从头到尾都是讨论二阶偏微分方程。有热传导的抛物型方程，波动传播的双曲型方程，以及位势函数的椭圆型方程。多数课程都不会或极少介绍一阶偏微分方程。在实际应用中，有一个称之为Eikonal方程的一阶（非线性）偏微分方程描述了电磁波在几何光学的近似下传播的光线轨迹以及电磁波相位变化。我们把一根筷子插入装有半杯水的玻璃杯中，便可看到筷子在穿过水面时折叠了。实际筷子还是一条直线，观察到的折叠现象只是由于水与空气对电磁波传播的不同折射率所导致的。这Eikonal方程的左端项就是一个可以直接积分的一阶微分算子，而右端项则就是电磁波在介质中传播的折射率。折射率常常是介质密度的函数。介质折射率的变化可以影响电磁波传播轨迹和相位的变化。在实际应用中，由于流动的介质（例如大气、水、等离子体）具有湍流的随机特性，Eikonal方程右端项的折射率其实是一个随机变量。Eikonal方程可以直接积分求解，我们也就可以根据折射率变化的统计特性而简单、直接推断出电磁波传播轨迹和相位变化的统计特性。

（待续）

coolboy

实际应用中，单纯的情形（2）极少出现或基本不存在。研究或解决情形（2）的目的是为了解决情形（3）。通常出现的问题是方程的左端是一个线性微分算子，但算子含有随机系数。作为对比，我们知道纳维－斯托克斯方程所对应的是一个非线性微分算子，但微分算子只包含确定性函数的常系数。为了直接求得随机函数形式的解，我们可以采用两个办法把左端含有随机系数的方程转化为左端只含有确定性系数的微分算子的可解方程。方法一是分离出左端含有随机系数的那些项，把它们移到方程右端作为方程的外源项。当然，此时的外源项包含所要求解的因变量随机函数。如此，我们可以对剩下的只含有确定系数的微分算子的方程进行叠代求解。方法二是对原方程进行一个非线性变换，把含有随机系数的线性方程转换为仅含有确定性系数的非线性方程，且所得的随机外源项中并不包含所要求的因变量随机函数。方法二所导致的方程就对应于上述的情形（3）。这两种方法的求解过程都涉及到级数展开、逐阶叠代的步骤。方法一所对应的近似解称为Born近似。方法二所对应的非线性变换及近似解称为Rytov变换及Rytov近似。两种方法所求得的解也被证明是等价的。

下面列出两本专著，专著中所涉及的大部分数学内容就是上述关于如何求解随机微分方程的具体应用例子。

Andrews, L. C., and R. L. Phillips, 2005: Laser Beam Propagation through Random Media. Second Edition. SPIE Press, 782 pp.
Wheelon, A. D., 2001: Electromagnetic Scintillation. I. Geometric Optics. Cambridge Press, Cambridge, 455 pp.
Wheelon, A. D., 2003: Electromagnetic Scintillation. II. Weak Scattering. Cambridge Press, Cambridge, 440 pp.

注意，我们这里讨论的是如何直接求解随机微分方程。所得的解也是随机函数。当然，知道了分布函数，随机变量的平均值及各阶距函数也就随之而知了。

对于包含随机运动的湍流以及所对应的（可看成是随机）非线性纳维－斯托克斯方程的研究，我们总是求它的平均方程的平均场的解。在求解过程中，由于方程非线性特性，我们会遇到关于如何封闭方程的问题。对于含有随机变量系数的线性方程来说，我们也可以只求方程的平均场的解而不去求解随机变量的分布函数。此时，由于随机系数与随机解相乘的这一非线性特性，我们也同样遇到了方程的封闭性以及级数解的收敛性的问题。描述含有随机变量系数的线性算子的平均场的方程被称为Dyson方程，在下面的专著中有叙述：

Sobczyk, K., 1985: Stochastic Wave Propagation. Elsevier, New York, 248 pp.


（完）

coolboy

在另一个学术论坛上，有网友提出了另一种求解随机微分方程的方法：用多项式拟合待求的未知函数，用随机优化算法求出拟合多项式的系数。对此建议，我作出了如下的回复：

coolboy

嗯，有意思。你说到的情形其实涉及到好几个方面的问题。第一方面是关于微分方程的求解问题。从上面所叙述的三种实际应用例子来看，这里提到的求解微分方程所用的核心方法就是所谓的“格林函数法”。此外，也还有“差分法”、“有限元法”、“谱方法”等其它方法可求解微分方程。从你叙述中提到的“用多项式展开的方式拟合”则可把求解方法归属于“谱方法”一类的求解方法。第二方面是关于求解方法的适用范围问题。传统的“谱方法”对基函数的选择必须满足“完备性、正交性”等一系列性质。采用多项式展开则并不满足这些特性。从另一方面来讲，多项式展开既可以方便进行求导、求积等运算，也可以在较低阶近似条件下拟合任何函数。你又提到了“通过约束条件确定多项式系数”的求解步骤。所以实际求解方法应该是用优化算法可以近似求解包括微分方程在内的任何含有未知函数的数理方程或工程方程。第三方面就是优化算法问题。若所涉及的数理方程或工程方程含有随机变量，则自然是采用随机性优化算法比较合适。此外，假若所需要优化的参数（如这里的多项式系数）的数量比较大，到达几十、几百或更多，则近年来发明、发展起来的称之为“同时扰动随机近似”的一种随机优化算法应该算是一种较好的优化算法。这一优化算法的思路是这样的：对于任何优化算法，我们都必须要计算目标函数的梯度。为此，在算法叠代的每一步，为求梯度必须对每个参数作出单独变化以求出目标函数的偏导数并进而求得梯度。“同时扰动随机近似”法则在叠代的每一步让所有参数都作出同时的随机扰动，一次性地就求出了目标函数的梯度。就每一步来讲，后者给出的梯度具有很大的误差或是不准确的，但若多次叠代平均，则结果证明其实渐近的收敛速度与单独变化求出梯度值的收敛速度是相同的！显然，所要求的参数越多，则“同时扰动随机近似”对优化算法的省时改进就越大。下面是介绍“同时扰动随机近似”优化算法的经典专著：

Spall, J. C., 2003: Introduction to Stochastic Search and Optimization: Estimation, Simulation, and Control.  John Wiley & Sons, Inc., New York, 595 pp.

coolboy

这里讨论到了优化算法，我顺便再来闲聊一下一个挺有趣的相关话题吧！

现在网络上有一流行的词称之“躺平”用来描述人们在工作、生活上不是很认真，不求上进的的状态。当然，不求上进的人一直是有的。在我当年生活的“文革”年代，对这类人的描述用的是什么流行词呢？记得当年“文革”年代有三个流行词分别描述三类不同的人：“造反派”、“保皇派”和“逍遥派”。照我看来，当年的“逍遥派”也就相当于现在的“躺平”式工作、生活的人们。

很多上了年纪的中国人应该都知道中国的一位数学家华罗庚。他在三个方面被国人所熟知：（1）他是在杂货铺里当学徒的同时自学数学成才（与知名印度数学家Srinivasa Ramanujan类似），（2）他在数论这一纯数学领域作出了世界级的贡献，（3）他在“文革”期间在全国范围内（进工厂、下农村）广泛推广“优选法”的应用。我对他作为一个研究数论的专业数学家从事“走街串巷”式的推广“优选法”应用的研究工作就认为他所从事的是一种“躺平”式研究工作。当然，他这么做，也是当年所谓的“大环境”所致。

在“优选法”应用的各类方法中，有一种称之为“正交试验法”的多因素试验的分析方法就与上面所述的“同时扰动随机近似”方法在思路上有着异曲同工之妙处。假若某试验结果的优劣（即目标函数之值）取决于若干个待定因子的取值，则按照通常的“笨办法”，我们应该试过所有待定因子的可能取值才能真正确定试验结果在何种条件下达到最优。具体实行也就是固定所有因子，然后让每个因子扫过所有可能的变化值进行试验来发现最优结果。当待定因子的数目较大以及因子取值可能变化的范围也很大时，这样从事试验的次数当然是非常巨大的。“正交试验法”则是让所有因子按设计好的方案进行同时变化从而大大地减少了获得最优结果所需从事的试验次数。这“正交试验法”中的“同时变化”与上述“同时扰动随机近似”算法中的“同时扰动”其实就具有着为了优化算法、优化试验设计而包含的同一核心思想。

用“正交试验法”设计出最优的试验设计在上述J. C. Spall专著的第17章(Optimal Design for Experimental Inputs)中也有介绍。

关于“优选法”以及“正交试验法”的介绍，我书架上也还有着几本相关的中文书：

《正交试验法》编写组，1976年：正交试验法。国防工业出版社，北京，210页。
华罗庚，1981年：优选学。科学出版社，北京，179页。
方开泰，马长兴，2001：正交与均匀试验设计。科学出版社，北京，248页。