从贝叶斯台球问题看频率派和贝叶斯派的差别，兼论拉普拉斯接续法

luyuanhong

从贝叶斯台球问题看频率派和贝叶斯派的差别，兼论拉普拉斯接续法

原创 尚大海 尚万只老虎 2025 年 02 月 23 日 08:03 广东、

一，贝叶斯推断的起源

18 世纪的英国哲学家大卫·休谟（David Hume）是一个喜欢质疑的经验主义者。在那个对基督教稍有不敬就有可能引发人身安全的年代，休谟不敢畅所欲言，只能隐晦地表达他的一些看法。比如 1734 年，他在《人性论》一书中写道这样一个观点：

仅仅基于自身观察，是不可能推出任何关于这个世界的绝对且普遍的规律的。说的通俗一点，就是无论做出多少观察，都不可能得出太阳每天升起的结论。

休谟想要表达的就是，经验论不能导出必然的真理，我们无从得知因果之间的关系，只能得知某些事物之间总是会有所关联的。即使过去所观察的结果完全一致，人们也不能对未来做出毫无保留的预测。

1748 年，休谟壮着胆子发表论文《论神迹》，对上帝的存在表示质疑。休谟认为，神迹是自然法则的违逆，因此是极不可能发生的。

休谟的言论成功引起了一位神父的注意，这位神父就是托马斯·贝叶斯（Thomas Bayes）。贝叶斯读了休谟的著作之后，忧心忡忡地想“难道我们真的无法通过观察到的结果推出真正的原因吗？”


托马斯·贝叶斯（Thomas Bayes，1702-1761），18 世纪英国神学家、数学家、数理统计学家和哲学家，概率论理论创始人，贝叶斯统计的创立者。

为了反驳休谟关于因果的看法，贝叶斯想到了一个“小魔术”：贝叶斯背对着一张桌子，命令助手在桌子上放一个黑球，当然贝叶斯并不知道黑球的位置。接着，他让助手以均匀随机的方式放置若干白球。每放置一个白球，就要助手告诉他白球相对于黑球的位置。白球放置的越多，就越能确定黑球的位置。这就是贝叶斯思想中学习的过程，根据白球的相对位置推理出黑球的绝对位置。

这就是著名的“贝叶斯台球问题”，为了解决这个逆概率问题，贝叶斯在他的论文中提供了一种方法，即贝叶斯定理：

后验概率 = 观测数据决定的调整因子 × 先验概率

上述公式的意义是，首先对未知概率有一个先验猜测，然后结合观测数据，修正先验，得到更为合理的后验概率。“先验”和“后验”是相对而言的，前一次算出的后验概率，可作为后一次的先验概率，然后再与新的观察数据相结合，得到新的后验概率。因此，运用贝叶斯公式有可能对某种未知的不确定性逐次修正概率，并得到最终结果，即解决逆概率问题。

有关贝叶斯定理的论文，直到贝叶斯去世后的 1763 年，才由他的朋友理查德·普莱斯（Richard Price）代为发表。后来，拉普拉斯证明了贝叶斯定理的更普遍的版本，并将之用于天体力学和医学统计中。

也许贝叶斯当初对他自己这个定理的意义认识不足，恐怕也没有料到由此而启发人们以一种全新的思考方式来看待概率和统计，并进而发展成所谓“贝叶斯学派”。

二，贝叶斯台球问题

现在我们来看一下贝叶斯台球问题的现代版本。


贝叶斯台球问题

爱丽丝和鲍勃在台球桌上玩“贝叶斯台球游戏”，他们的朋友查理为裁判。游戏规则简单，比赛开始之前，查理将一个初始球投到桌子上，球停止在一个完全随机的位置，作为爱丽丝和鲍勃“领土范围”分界线的标记。然后，查理随机地将另一个球滚到桌子上。如果球停止在初始标记的左边，即爱丽丝的领地上，爱丽丝赢得 1 分，如果球停止在右边，鲍勃赢 1 分。爱丽丝和鲍勃看不到台球桌上的详细情况，只知道每次谁得了分，以及自己和对方的总分是多少。实际上，在游戏中爱丽丝和鲍勃什么也不干，一切都由查理安排和投球。最后，第一个获得6分的人取胜。

想象一下，如果比赛进行了 8 次之后，爱丽丝已经赢得了 5 分，鲍勃赢得 3 分，爱丽丝再得 1 分就要赢了，鲍勃还差 3 分，必须连赢 3 次。形势显然对鲍勃不利，但这时候，应该如何计算鲍勃最后获胜的概率？

假设查理投出的球最后停止在台球桌上任何一点的概率都是相同的。那么显然，爱丽丝赢 1 分的可能性正比于她的领地的面积（上图中相应矩形的宽度），鲍勃也一样。每次投球后，爱丽丝赢（即鲍勃输）的概率为 p ，等于她的领地占整个台球面的比例。也就是说，p 是由第一个球的位置决定的，我们用 p 来代表这个概率模型的参数。

贝叶斯台球问题中的 p ，是连续变化冗余参数的例子，对这个问题的研究使我们看到频率学派和贝叶斯学派处理这类问题之间的异同。

根据频率学派的观点，参数是固定的，爱丽丝和鲍勃的领地分界标记在每场比赛中只在比赛前设置一次，所以 p 是一个固定参数。频率学派的目的，是根据游戏在某一步得到的数据，求出或估计这个参数，并由此再得到问题的答案。

比赛进行了 8 次之后，爱丽丝再得 1 分就赢，因此她最后赢的概率就是查理滚一次球停到爱丽丝领地中的概率 p 。而鲍勃需要接连 3 次抛的球都滚到自己的领地上，每次滚到自己领地上的概率是 1-p ，鲍勃接连赢 3 次的概率便是 (1-p)^3 。那么，应该如何估计这个 p 呢？

在数理统计学中，经常使用似然函数来描述统计模型中的参数，由此函数的最优化来估算参数的方法叫作“最大似然估计”。

似然函数是什么？“似然性”一词与“概率”一词意义相近，都是指某种事件发生的可能性。似然函数与概率分布函数有关，他们的函数形式有可能相同，但在统计学中，两者在概念上有着明确的区分：概率分布函数是随机变量的函数，参数固定；似然函数是参数的函数，随参数的变化而变化。

做似然估计时，首先对一定的概率分布和样本取值，定义似然函数，然后再求出使似然函数取极值的参数，它便是最大似然估计的参数。比如说，样本取值为 (m,n) 的二项分布的似然函数为 p^m(1-p)^n ，这里的参数为 p 。在上述问题中，查理抛了 8 次球，爱丽丝赢 5 次、输 3 次，似然函数为 p^5(1-p)^3 。为了得到似然函数的极值点，将此函数对 p 的微分设定为零：



得到最优化上述似然函数的 p 值为：p=5/8 。由最大似然估计，再得出鲍勃最后赢的概率为 P(鲍勃|样本 D)=(1-p)^3=(3/8)^3=27/512≈1/19 。鲍勃的“赔率”= P(鲍勃) / (1-P(鲍勃))。因此，最后结果的鲍勃赔率为1 : 18 。

以上是频率学派的计算方法，贝叶斯学派如何计算这个问题？

贝叶斯学派也使用似然函数，但他们不将 p 值固定在最大似然估计的 5/8 ，而是考虑 p 可能为 0 到 1 之间的任何实数，对 p 值的范围积分：



由此可算出鲍勃的“赔率”=P(鲍勃)/(1-P(鲍勃))，即 0.09 : (1-0.09) ≈ 1 : 10 。

可以看出贝叶斯的结果是 1 : 10 ，而频率论的结果是 1 : 18 。究竟哪个是对的呢？两种方法的差异可以用下图来说明。


条件概率和边缘概率

从模型参数的角度看，频率学派只考虑一个固定的“最大似然估计”的参数值 p=5/8 ，即图中用 p=5/8 附近矩形长条表示的区域，来得到鲍勃最后获胜的概率，即图中右边的条件概率分布曲线。而贝叶斯学派并不认为 p 是固定的，各种取值都有可能，因此他们对从 0 到 1 的所有可能的 p 值分布进行积分，也就意味着对所有可能性平均，得到的是图中最右边的边缘概率分布曲线。

也就是说，从概率的角度看，两种方法的差异来自于使用条件概率还是边缘概率。如果有两个以上的随机变量，通常用它们的联合概率分布来描述其在多维空间的随机性。如下图表示随机变量 X 和 Y 的联合概率分布以及边缘概率。


联合概率边缘化

频率学派和贝叶斯学派最大的差别，是在于对物理世界建模时使用的参数的认知。频率学派认为模型的参数是固定的，真实而客观存在的。他们的方法，是使用最大似然（maximum likelihood）以及置信区间（confidence interval），以便找出这个参数的真实值。而贝叶斯学派恰恰相反，他们不关心参数的所谓“真实值”，关心的是参数的每一个值的可能性，即参数的概率分布。贝叶斯学派将参数看作是随机变量，每个值都有可能是真实模型使用的值，区别只是概率不同而已。

贝叶斯学派的想法其实更为自然，这也是为什么贝叶斯学派的产生远早于频率学派，但在电子计算机技术尚未出现的时候，这大大限制了贝叶斯方法的发展。频率学派主要使用最优化的方法，处理起来要方便很多。如今，贝叶斯学派重新回到人们的视线中，而且日益受到重视。两个学派除了在参数空间的认知上有区别以外，方法论上都是相互借鉴、相互转化的。 因为贝叶斯学派认为所有的参数都是随机变量，都有分布，因此可以使用一些基于采样的方法使得我们更容易构建复杂模型。频率学派的优点则是没有假设一个先验分布，因此更加客观，也更加无偏向性，在一些保守的领域（比如制药业、法律）比贝叶斯方法更受到信任。

三，拉普拉斯的推断

想到逆概率的不只是贝叶斯。同时期，法国有一位非常伟大的数学家皮埃尔·西蒙·拉普拉斯（Pierre Simon Laplace）。牛顿曾经表示，如果宇宙中只有地球和太阳，那么它们就会组成一个稳定的系统，直到时间尽头。然而，如果添入木星，牛顿就无法得到这个结论了。所以，牛顿采用老方法，把上帝搬出来了，只有上帝的干预可以给予这个复杂系统以稳定的秩序。


皮埃尔·西蒙·拉普拉斯（Pierre-Simon De Laplace, 1749—1827），法国著名数学家，天文学家，天体力学的主要奠基人、天体演化学的创立者之一，分析概率论的创始人，应用数学的先驱。

拉普拉斯可不是这么想的，他在著作《天体力学》中给出了关于太阳系稳定的新论点：“太阳系的稳定无须上帝的干预”。据说拿破仑读了《天体力学》这本书之后，就问拉普拉斯：“牛顿还在他的书中提到了上帝，怎么在你的书中，上帝一次也没出现过呢？”拉普拉斯的回答非常的霸气：“我不需要上帝这个假设！”

不过，即使说明太阳系的稳定性，仍有很多悬而未解的问题。为推断天体的真正位置，拉普拉斯也采用了逆概率的思想，这一思想发表在其题为《论事件原因存在的概率》的论文中，这发生在贝叶斯公式发表 10 年之后的 1774 年。

拉普拉斯论文中用的例子不是黑白小球了，而是黑白纸条。假如有一个罐子，里面装着大量黑色和白色的纸条，比例未知。假如有放回的抽取出 p 张白色纸条，q 张黑色纸条。请问：下一次抽出一张白色纸条的概率有多大？

拉普拉斯给出的答案是：(p+1)/(p+q+2) 。

这就是贝叶斯估计的雏形。不过，因为逆概率公式是拉普拉斯在不知道贝叶斯公式的情况下发现的，所以当时将其称作拉普拉斯接续法则，也就是拉普拉斯估计。

下面我们来看下拉普拉斯的结果是如何得到的。

四，拉普拉斯接续法则



参考文献

［1］张天蓉. 从掷骰子到人工智能：趣谈概率[M]. 北京：清华大学出版社，2024.

［2］董平. 机器学习中的统计思维（Python 实现）[M]. 北京：清华大学出版社，2023.

［3］于忠义. 谁开创了贝叶斯学派?——对拉普拉斯 1774 年一篇文章的回顾[J]. 统计与信息论坛 , 2008 , 23(1) : 85-90.

尚大海