数学漫谈—贝叶斯的起源

luyuanhong

数学漫谈—贝叶斯的起源

以下文章来源于简博士数据分析吧 ，作者 Janneil

内容提要：

*  关于神迹的探寻

*  贝叶斯的魔术

*  理查德·普莱斯的接力

*  拉普拉斯的推断

这期的周末大放送我们一起来说说贝叶斯的起源。

之前在贝叶斯分类器中讲过贝叶斯思想【十分钟机器学习系列课程】 讲义（十八）：贝叶斯估计，这一次我们一起来瞅瞅这个理论是如何诞生的。

壹 关于神迹的探寻

在历史的长河中，会遇到很多人类当前无法解释的现象，这时候神就应运而生了，它可以让问题的变得简单，因为是神迹嘛！

1. 神的传说

在中国传统文化中，神话故事似乎一直是不可或缺的，但因为不同的人想象中的天神不同，即使是同一种现象，也有着不同的解释，比如说下雨。关于下雨的科学原理我们在藏在雪花中的科学奥秘（上）中讲过。



在道教中，掌管打雷的是雷公，司管下雨的是雨师。

“左雨师使径待兮，右雷公而为卫。”——《楚辞远游》

在佛教中，施云布雨的神是龙王。

“小圣东海龙神是也，奉上帝敕令，管领着江河淮济，溪洞谭渊，兴云布雨，降福消灾，济渡众生。”——《南极登山》

或许是文化差异，虽然有各种神话，但貌似没听说哪位中国科学家去证明神的存在。不过也许是小简寡闻，哪位小伙伴知道更多的内容的话，可以后台私信告知我哦~

2. 休谟的探寻

在我看来，西方是不同的，有一大波科学家「前赴后继地从无神论者转向为神学论」，纷纷证明上帝的存在性，比如牛顿、爱因斯坦、爱迪生、笛卡尔等等。

“神的形象没有人看到、听到和接触到，我们只能在他所创造的万物中了解他。神仍在掌权，我们都在他的掌管之下。”——「牛顿《自然哲学之数学原理》」



“存在不存在更完美，但上帝是绝对完美的，所以上帝是存在的。”——「笛卡尔」



然而，18 世纪的时候英国出现了这样一个人物——「大卫·休谟」。


大卫·休谟 苏格兰不可知论哲学家、经济学家、历史学家，被视为是苏格兰启蒙运动以及西方哲学历史中最重要的人物之一

这是一个喜欢质疑的哲学家，在那个对基督教稍有不敬就有可能引发人身安全的年代，休谟不敢畅所欲言，只能是隐晦地表达他的一些看法。

比如在 1734 年的《人性论》一书中，他表示：

“仅仅基于自身观察，是不可能推出任何关于这个世界的绝对且普遍的规律。说的通俗一点，就是无论做出多少观察，都不可能得出太阳每天升起的结论。”

休谟想要说的就是，「经验论不能导出必然的真理，我们无从得知因果之间的关系，只能得知某些事物之间总是会所有关联的」。即使过去所观察的结果完全一致，人们也不能给对未来做出毫无保留的预测。

「1748年」，休谟壮着胆子发表了论文 「《论神迹》」，对上帝的存在表示质疑。休谟认为，神迹是自然法则的违逆，因此是极不可能发生的。

在那个时代，经常有一些人报告发现了神迹，比如基督复活之类的。但在休谟看来，这些神迹是不可能的，要么报告这说了谎，要么搞错了，相比较而言，出现不准确的神迹报告这类事件更是有可能的。

这里的词语，“观察”，“结果”，“预测”，“极不可能”，“有可能的”，能让我们想到什么？

「随机试验？样本空间？不可能事件？概率？」

没错，就是「概率」。虽然休谟本人并不懂高深的数学知识，但是不妨碍其他人往这个方向思考。

贰 贝叶斯的魔术

1. 如何证明逆概率公式的合理性

这个所谓的“其他人”就是 「托马斯·贝叶斯 (Thomas Bayes)」 ，没错，就是贝叶斯公式中的那个人名。


18 世纪英国神学家、数学家、数理统计学家和哲学家，概率论理论创始人，贝叶斯统计的创立者，“归纳地”运用数学概率，“从特殊推论一般、从样本推论全体”的第一人

虽然说托马斯是一位神父，但是仍然阻止不了他对科学的热情。在他读了休谟的著作之后，很受启发，难道我们真的无法「通过观察到的结果推出真正的原因」吗？

于是，托马斯给我们大家看个「小魔术」：

他背对着一张桌子，让小助手在桌子上放一个黑球，当然托马斯并不知道黑球的位置。接着，他交代小助手以「均匀随机地方式放置若干个白球」。每放置一个白球，就让小助手「告诉他白球相对于黑球的位置」。白球放置的越多，就越能确定黑球的位置。这就是贝叶斯思想中学习的过程，「根据白球的相对位置推理出黑球的绝对位置」。



据说，托马斯的这一想法可能受到当时学术界流行的“First Principle”的影响而产生的。（小简碎碎念：看来 18 世纪的时候第一性原理就流行过的，现在又因为马斯克流行回来啦，哈哈~）

所以，休谟的关于因果的看法就被托马斯的概率小魔术给驳回了。

可是这一结论并没有立马被大家知晓，因为托马斯没有公布这个「神奇的数学公式」。

有人推测，当时「被认可的概率公式都是从因推果」

              P（果|因）

但托马斯的数学公式是「逆概率公式」，由果推因，

              P（因|果）

这是不被认可的「异端邪说」，为了避免麻烦，他没有公布。也有人说，这可能是因为这个公式质疑了他信仰的上帝。总归，「贝叶斯公式是在托马斯逝世两年之后才发表的」。

叁 理查德·普莱斯的接力

谁帮贝叶斯发表了他的神奇公式呢？

托马斯有一位朋友名为「理查德·普莱斯」，这是一个妥妥的「神学论者」，而且据说普莱斯同意整理托马斯遗作并发表的原因就是为了证明上帝的存在。

「理查德·普莱斯」：

“我的目标就是弄清楚我们究竟出于什么原因相信，物体的组成中存在一些固定法则，而这些法则正是物体产生的依据；我们又为何会相信，世界的框架也因此必然源自一个智能本因的智慧和能力。所以，我的目标就是通过终极原因确立上帝的存在。”

托马斯逝世于 1763 年 4 月 7 日，普莱斯投往伦敦的皇家学会哲学会刊的日期是 1763 年 12 月 23 日。从论文的日期可以看得出来，普莱斯对托马斯的遗作还是很重视的。


托马斯的遗作

为了反驳休谟的观点，普莱斯甚至给这篇论文起了一个非常有针对性的名字「《一种建立在归纳基础上计算所有推断的精确概率的方法》」。


一种建立在归纳基础上计算所有推断的精确概率的方法

对该论文简单叙述大意就是：

“如果一个事件在 n 次独立实验的每次都以未知的概率 p 发生了，并且发生了 x 次，那么在 p 所有值等可能的先验假设下，就能找到 p 的后验分布。”

你若问，普莱斯怎么通过贝叶斯公式证明上帝存在了？那么就请跟我接着看普莱斯对贝叶斯公式的应用。



不过，成也标题，败也标题。这个题目太过于乏味儿宽泛，导致很多人没有注意到这一成果。

肆  拉普拉斯的推断

没关系，想到逆概率的不只是「贝叶斯」一个人。同时期，法国有一位非常伟大的数学家「皮埃尔·西蒙·拉普拉斯」。这也是许多小伙伴大学时期的噩梦吧。


拉普拉斯(Pierre-Simon Laplace,1749－1827)是法国分析学家、概率论学家和物理学家，法国科学院院士

曾经，牛顿表示，如果宇宙中只有地球和太阳，那么他们就会组成一个稳定的系统，知道时间尽头。然而如果添入木星，牛顿就无法得到这个结论了。所以，牛顿用了老方法，把上帝搬出来了，「只有上帝的干预可以给予这个复杂系统以稳定的秩序」。

拉普拉斯可不是这么想的，他在著作《天体力学》中给出了关于太阳系稳定的新论点：「太阳系的稳定无须上帝的干预」。

这里给大家说个趣事儿，拿破仑读了这本《天体力学》这本书之后，就问拉普拉斯：牛顿还在他的书中提到了上帝，怎么在你的书中，上帝一次也没出现过呢？

拉普拉斯的回答非常的霸气：「我不需要上帝这个假设」！

不过即使说明太阳系的稳定性，仍有很多悬而未解的问题。为了推断天体的真正位置，拉普拉斯也采用的逆概率的思想，这一思想发表在《论事件原因存在的概率》，这发生在贝叶斯公式发表十年之后的 1774 年。

拉普拉斯论文中用的例子不是黑白小球了，而是「黑白纸条」。

“假如有一个罐子，里面装着大量黑色和白色的纸条，比例未知。假如我们已经有放回的抽取出了  张白色纸条， 张黑色纸条。请问，下一次抽出一张白色纸条的概率有多大？”



举个之前的例子，还是关于日出的。



“假如已经连续 q 天太阳照常升起了，那么请问明天太阳不会升起的概率是多少？”

拉普拉斯借用了《圣经》中给出的天数—— 5000 年对应的天数作为 q ，然后计算出的概率数量级为「百万分之一」。

现如今，太阳每天升起已经大约持续了 50 亿年，如果「仍然利用给拉普拉斯接续法则」，得到的太阳不会升起的概率是两万亿分之一。那么是不是太阳会永远地正常升起呢？

科学界众说纷纭，有人说数十亿年之后，地球就会脱离轨道，所以正常升起还能持续数十亿年；有人说太阳在 50 亿年之后就会变成红巨星，吞噬地球，还有人说......

总归是众说纷纭，各类小说电影也是层出不穷。比如《太阳危机》、《流浪地球》等等。

现如今，「贝叶斯公式已经被各位熟知，物理学、生态学、心理学、计算机、甚至哲学等各个领域都有它的应用」。

《生活大爆炸》也拿它来做梗，就是在 Sheldon 研究抓哔哔鸟的时候，写在白板上的公式。



甚至，在人工智能中，可以说内核就是贝叶斯思维，这应该感谢「所罗门诺夫」吧，将可计算性理论与贝叶斯公司和结合起来，成就了人工智能的前身。

参考文献：

Bayes, An essay towards solving a problem in the doctrine of chances.

A History of Bayes' Theorem. https://www.lesswrong.com/posts/ ... es-theorem#comments

[美]史蒂芬·斯蒂格勒,《统计学七支柱》, 人民邮电出版社, 2018.

Le Nguyen Hoang, 《贝叶斯的博弈》, 人民邮电出版社, 2021.

天山草

产品可靠性分析理论和抽样检验理论中大量用到包括贝叶斯各种公式的概率公式。在这方面美国人走在前面，他们有许多电子元器件的可靠性计算公式，我们不知道这些公式是如何得到的。