【ML】贝叶斯公式

luyuanhong

【ML】贝叶斯公式

原创 章鱼 carl 章鱼沉思录 2024-04-21 15:17 山东

一、引言

贝叶斯公式是概率论中一个重要的公式，它描述了在已知新证据的情况下如何更新事件概率。简而言之，它可以让我们利用新信息来调整我们的认知。属于概率理论、科学方法和人脑认知的交叉。

二、前置知识





三、贝叶斯意义

从一个例子来理解贝叶斯是如何描述人类认知过程的。

例如，定义“好豌豆”(Z)：颗粒大 (A) 、形状圆 (B) 、颜色绿 (C)



筛选一颗好豌豆时，假设感觉层面的认知顺序为：大小、形状、颜色，当然我们可能会先预估一个好豌豆的概率作为初始经验认知 P(Z) ，随着感觉器官不断的采集到这颗豌豆的性状，我们会不断的更新我们的认知 P(Z) 。例如，看到颗粒大 (A) ，那么调高 P(Z) ，



这里的 P(A|Z) 表示好豌豆中颗粒大的概率，此场景中为 1 ，而 P(A) 为颗粒大的概率。所以，P(A|Z) 一定大于 P(Z) ，也表示好豌豆的概率变大了。

又看到形状圆，继续调高 P(Z) ，直至最终颜色也是新鲜的绿色，那么 P(Z) 就为 1 了。

从这个例子中，我们抽象几个要素：

● 我们对事物是有一个初始的认知的，例如，什么叫好豌豆，当然这个定义可能来自于书本、老师、菜农等等，如果完全是新事物，我们大脑也会本能的去将其他类似的东西拿过来，作为一个初始的认知。

● 每得到一个信息后，会用这个信息去更新对目标事物的认知，这本质上就是条件概率降低了认知决策的样本空间。

● 新认知会在下一次遇到类似情况时，作为初始认知再次进行迭代。

说到这里，其实能想到很多类似的应用场景，机器学习的训练过程，特别是有监督学习，通过标定的样本不断的调整模型认知。还有所谓的归纳演绎，归纳是一次认知的收敛，演绎是认知的一次泛化。

所以，贝叶斯公式中



● P(A) 称作先验概率，即初始认知。

● P(A|B) 称作后验概率，即更新后的认知。

● P(B) 称作证据，即不断有新的信息来影响认知。

章鱼沉思录