如何理解贝叶斯定理
贝叶斯的思想非常简单:通过一些额外信息,增加一个事件的先验概率,最后得到一个后验概率。我们看下面的解释理解这句话。
先验概率、后验概率、条件概率、全概率、独立事件
在开始前,让我们先理清一些基本概念。
先验概率
所谓的先验概率是没有额外信息,一般可以通过先前的数据统计得到或者根据已有的知识获得。比如,投掷硬币(定义为事件 \(A\) ), 则事件 \(A\) 的先验概率 \(P(A) = 0.5\) 。再比如,一个桶中有黑白球,同时分别知道它们的个数,随机拿一个球,问是黑球的概率。这样的一个概率也是先验的。
简单来时就是,在未经事件发生的时候,我们已经可以知道它的概率了。
后验概率
后验概率表示在有其他信息影响的情况下非独立事件发生的概率。通常是如下的表现形式: \(P(A|B)\) 。其实在本质上,它是一种条件概率,但是在解释上可能有所不同。
条件概率
是事件 A 在事件 B 发生的条件下发生的概率。条件概率表示为 \(P(A|B)\) 。
\begin{equation} P(A|B)={\frac {P(A\cap B)}{P(B)}} \end{equation}其中,当 \(A\) 与 \(B\) 独立的时候才有: \(P(A\cap B)=P(A)P(B)\) 。
全概率
假设{ Bn : n = 1, 2, 3, … } 是一个概率空间的有限或者可数无限的分割(既 Bn 为一完备事件组),且每个集合 Bn 是一个可测集合,则对任意事件 A 有全概率公式:
\begin{equation} {\displaystyle \Pr(A)=\sum _{n}\Pr(A\cap B_{n})\,} \end{equation}又因为
\begin{equation} {\displaystyle \Pr(A\cap B_{n})=\Pr(A\mid B_{n})\Pr(B_{n}),} \end{equation}此处 Pr(A | B)是 B 发生后 A 的条件概率,所以全概率公式又可写作:
\begin{equation} {\displaystyle \Pr(A)=\sum _{n}\Pr(A\mid B_{n})\Pr(B_{n}).\,} \end{equation}贝叶斯定理
贝叶斯定理让我们对对逆向概率的计算有了一种可能,这是一个伟大的发现。在现实中,该定理非常有用。
比如,我们知道了一些关键信息,要推断明天下雨的概率是多少?如何做呢? 基于统计的概率这是无法做到的,因为这件事发生在未来,我们无法根据已经发生的事去推断明天下雨这个事件。
使用贝叶斯为什么可以做到呢?一般情况,从历史上我们能够统计出下雨的概率,但是不知道明天下雨的概率,如果能够提供一些额外的信息,就能够让这个下雨的概率近似到明天这个范围内。
贝叶斯定理的定义如下:
\begin{equation} P(A|B) = P(A) \frac{P(B|A)} {P(B)} \end{equation}它的推导过程如下: 根据条件概率的定义。在事件 B 发生的条件下事件 A 发生的概率 P(A|B)以及 P(B|A)如下:
\begin{equation} P(A|B)={\frac {P(A\cap B)}{P(B)}} \end{equation} \begin{equation} P(B|A)={\frac {P(A\cap B)}{P(A)}}. \end{equation}将两式子合并,
\begin{equation} P(A|B)\,P(B)=P(A\cap B)=P(B|A)\,P(A) \end{equation}最终得到:
\begin{equation} P(A|B) = P(A) \frac{P(B|A)} {P(B)} \end{equation}下面通过前面下雨的例子来分析下该定理的含义。
例如,今天天气非常炎热,那么今天下雨的概率是多少?假设天气炎热为事件 B,下雨为事件 A,那么 P(A|B) 就是要求的概率。根据贝叶斯定理,它有两部分组成: \(\boxed{P(A)}\) 以及 \(\boxed{\displaystyle \frac{P(B|A)}{P(B)}}\) (可能性函数) 。第一部分是所谓的先验概率,也就是下雨这个事件,从历史的数据中,我们很容易可以得到它的概率。 \(P(B|A)\) 是天气炎热的情况下,下雨的概率,也可以统计得到。
可能性函数这是一个调整因子,即新信息 B 带来的调整,作用是使得先验概率更接近真实概率。可能性函数你可以理解为新信息过来后,对先验概率的一个调整。可能性函数你可以理解为新信息过来后,对先验概率的一个调整。
如果 \(\displaystyle \frac{P(B|A)}{P(B)} > 1\) 。那么 P(A) 被增强,最终在 B 信息下,A 发生的概率会增加。反之,则会减弱。