蒙特卡罗积分的理论——从均匀分布，指数分布，正态分布介绍起

luyuanhong

蒙特卡罗积分的理论——从均匀分布，指数分布，正态分布介绍起

原创 围城里的猫 MathSpark 2024-05-01 08:01 陕西

世界上第一台电子计算机 ENIAC 的发展，以及在洛斯阿拉莫斯实验室研究核弹的科学家当时所面临的几乎都是无法解析求解的积分，导致了蒙卡洛积分的发展。在当时洛斯阿拉莫斯实验室的物理学家斯坦尼斯瓦夫·乌拉姆因病抽搐，躺在床上玩纸牌时首先想到了这个绝妙的点子，然后他把这个想法告诉了他的同事冯·诺伊曼，然后他们迅速地发展了这一技术。



我认为蒙特卡罗方法的精髓，可以从一个确定的积分问题开始，让我们考虑下面一个定积分：



如果你不记得这个积分的值，我会非常难过。但它其实是一个标准正态分布概率密度的积分，无论如何，它等于 1 。用直角坐标系来计算这个积分是不可能的，我们要想解析求解首先必须将变量更改为极坐标，然后再求解积分。你想更改变量吗？我不想改变变量。事实上，我非常讨厌手工求解积分。

于是蒙特卡罗来了，它告诉我们，通过引入具有一定分布的随机变量并从该随机变量中采样，我们可以得到问题的任意精确的近似解。我们下面从一般的理论出发，考虑函数 f 和求解定积分的一般问题



这里 a 和 b 是实数，不是无穷大，稍后我们会讨论无穷大。现在我们要引入一个均匀分布在区间 [a, b] 上的随机变量 X ，如果你忘记了均匀分布，可以参考下面这张图片，或许会帮助你想起一些东西。



我们会看到一些奇妙的东西。从随机变量 X 中，我们抽取 n 个样本：



现在让我们将函数 f 应用于每个样本，这样我们现在就有：



根据大数定律，我们有下面的极限：



大数定律告诉我们当 n 接近无穷大时，样本均值收敛于总体均值，再根据期望的定义意味着：



但我们一开始选择 X 在区间 [a, b] 上是均匀分布，这意味着它的概率密度函数：



因此，如果我们将两边乘以 b-a ，我们将得到



瞧！我们得到了定积分的一个极限近似，这就是蒙特卡洛方法。该方法所需要的只是一种从均匀分布生成随机变量的方法，并且通过使 n 成为一个非常大的数字，我们就可以获得任何定积分的良好近似。但如果你观察敏锐，会注意到，从概率角度来解释的竟然和定积分原本的黎曼和近似完全一样！

不过到目前为止我还没有说如果积分的上下限是无穷大怎么办，所以现在让我们用一个技巧来解决这个小问题。假设我们想要定积分为



注意，假设下限为 0 并不失一般性，因为



而我们已经知道当上限和下限有限时如何利用蒙特卡罗计算积分。现在，我们不假设 X 是均匀分布的，而是假设它是一个随机变量，满足参数为 1 的指数分布（指数分布在 0 到正无穷概率密度为正），看看会发生什么：



这里参数选择 1 ，并没有什么特殊的原因，纯粹是顺眼：



然后我们依然可以选取有 n 个样本，利用刚才同样的手段会得到：



再一次地写下期望的定义：



我们又找到了一种数值计算积分的方法。如果下限是负无穷大并且上限是无穷大，则相同的推导有效，我们只需使用一个随机变量，其概率密度函数在负无穷和正无穷上均为正（想一想，哪一种分布，答案可以是正态分布），我知道如果你想在现实生活中运用这篇文章的内容，可能不怎么会起作用，但是我保证，你想在地下室制作核弹一定很有用，我们下期见！



围城里的猫