条件概率，全概率公式与贝叶斯公式的推导，理解和应用

luyuanhong

条件概率，全概率公式与贝叶斯公式的推导，理解和应用

原创 Smilecoc Smilecoc 的杂货铺 2024 年 10 月 10 日 10:00 上海

在概率论与数理统计中，条件概率是相当重要概念，同时从条件概率可以引申出有两个相当重要的公式——全概率公式与贝叶斯公式。本篇文章对条件概率，全概率公式与贝叶斯公式进行解释和推导，并列举实际应用以帮助大家了解相关公式。涉及到的内容对应概率论与数理统计课本的第一章内容，如有兴趣可参考课本内容。

基础知识

在理解全概率公式与贝叶斯公式之前，我们先了解一下必须的基本统计与概率知识。

概率的定义

首先我们先给出两种对于概率的定义：

1. 描述性定义：通常将随机事件 A 发生的可能性大小的度量值（非负值）称为事件 A 发生的概率，记为 P(A) 。

2. 统计性定义：在相同条件下做重复试验，事件 A 出现的次数 k 和总的试验次数 n 之比，称为事件 A 在这 n 次试验中出现的频率。当试验次数 n 充分大时，频率将“稳定”于某常数 p 。n 越大，频率偏离这个常数 p 的可能性越小。这个常数 p 就称为事件 A 的概率。

通俗的理解：

在抛一枚硬币时，如果我们抛 10 次硬币，出现了 7 次正面，3 次反面，那么对于“抛硬币出现正面”这一个事件的频率为 7/10 。当我们做很多次实验，那么对于“抛硬币出现正面”这一个事件的频率会稳定接近 1/2 ，这就是“抛硬币出现正面”这一个事件的概率。

概率的统计性定义实质上是说，用频率作为事件 A 的概率 P(A) 的估计。其直观理解为某事件出现的可能性大小。

条件概率

设 A,B 为任意两个事件，若 P(A)＞0 ，我们称在已知事件 A 发生的条件下，事件 B 发生的概率为条件概率，记为 P(B|A) ，且 P(B|A)=P(AB)/P(A) 。

这个公式有两点需要注意：

1. 这里的字母顺序 P(B|A) 和 P(A|B) 代表的含义是不一样的，如果你很容易混淆，可以记作 P(结果|原因) 或者 P(事件|条件) 。

2. P(AB) 的含义为事件 A 和事件 B 同时发生的概率，等价于 P(A∩B) ，概率论中 P(AB) 都是这一个含义。

条件概率是理解全概率公式和贝叶斯公式的基础，可以这样来考虑：在条件概率中，最本质的变化是样本空间缩小了——由原来的整个样本空间缩小到了给定条件的样本空间（如下图所示的红色部分），从而也影响了最终事件发生的概率。如下图所示：



举一个例子：

布袋里有 2 颗蓝色球和 3 颗红色球。每次随机从布袋里拿一颗，拿完后不放回布袋。那么第一次拿到蓝球和第二次拿到蓝球的概率分别是多少？

在计算概率之前，我们需要弄清楚，第 1 次拿球和第 2 次拿球是相关事件还是独立事件。

第 1 次随机拿一颗，拿到蓝色的概率是五分之二。

但拿掉一颗之后情形便不同了，所以拿第二个的时候有两种情况：

（1）如果第一次拿的是红的，剩下的球里面是 2 颗篮球，2 颗红球。所以第二次拿到蓝球的可能性是四分之二。

（2）如果第一次拿到是蓝的，剩下的球里面是 1 颗篮球，3 颗红球，所以第二次拿到蓝球的可能性是四分之一。

可以看到在整个过程中，随着球被取出，样本空间也在变化，从 2 颗蓝色球和 3 颗红色球变为了 2 颗蓝球，2 颗红球或者 1 颗蓝球，3 颗红球，从而同一个事件“第二次拿到蓝球”在不同的条件下发生的概率也不同，即两个条件概率 P(第二次拿到蓝球 | 第一次拿到红球) 和 P(第二次拿到蓝球 | 第一次拿到蓝球) 不同。

同时从上面的图中的逻辑，我们可以使用古典概型推导出条件概率公式：

设整个样本空间 Ω 中的样本数为 N ，事件 A 与 B 同时发生的样本数为 m ，事件 A 的样本数为 n ，则有

       P(A)=n/N ，P(AB)=m/N ，而 P(B|A)=m/n=P(AB)N/n=P(AB)/P(A) 。

完备事件组

如果有限个（或可列个）事件 A1,A2,…,An 满足 A1+A2+…+An=Ω 且 AiAi=，则称有限个（或可列个）事件构成了一个完备事件组。

通俗的理解：

就是事件之间两两互斥（AiAi=），所有事件不重不漏，并集是整个样本空间（Ω，必然事件）。

举个例子：掷骰子时，用 An 表示掷出的点数为 n ，A1 表示掷出的点数为 1 ，…，A6 表示掷出的点数为 6 ，则事件 A1,A2,…,A6 就构成了一个完备事件组，他们之间每个事件都不会同时发生（不重），同时每次掷骰子总会有其中一个发生（不漏）。

用文氏图表示如下：



乘法公式

由条件概率公式得：P(AB)=P(A)P(B|A) 。

上面的式子就是乘法公式。

对乘法公式进行推广，即对于任何正整数 n≥2 ，当 P(A1A2…Ak)＞0 时，有：

      P(A1A2A3…An)=P(A1)P(A2|A1)P(A3|A1A2)…P(An|A1A2…An-1) 。

全概率公式

定义



推导



应用

全概率公式的应用情形比较多，这里简单举两个实际中的例子：

1. 求次品率

某产品由甲、乙、丙三家工厂进行生产，各工厂的次品率分别为 5% ，4% ，2% ，它们各自的产品分别占总量的 25% ，35% ，40% ，求消费者买到的产品是次品的概率是多少？



2. 敏感问题调查问卷

在调查敏感问题的问卷中，如果直接设置问题并让所有的受调查者回答，有些受调查者可能会伪造回答。为了取得被调查者的信任，一般可以设置一个随机实验进行分类，随机让一部分人回答敏感问题，另一部分人回答其他的问题。比如调查某地婚外情的比例时，可以给被调查者一个硬币，让他避开调查人员自己抛硬币，正面向上则回答问题“你是否有过婚外情？”，反面向上则回答“你的生日是否在 7 月 1 日以前？”。因为调查人员不知道回答的是哪个问题，所以可以更容易取得被调查者的信任。



贝叶斯公式

定义



证明



应用

贝叶斯公式在生活中应用非常广泛，机器学习，图像识别等领域中也都有贝叶斯公式的身影。

接下来介绍一个利用贝叶斯公式来进行垃圾邮件过滤的实例：



参考文章：

https://www.cnblogs.com/Belter/p/5923828.html

https://blog.csdn.net/c406495762/article/details/77341116

https://zhuanlan.zhihu.com/p/75790486

Smilecoc