贝叶斯定理
好的,我们开始学习“贝叶斯定理”。这是一个在概率论、统计学以及众多应用科学中极为重要的概念,它提供了一种在获得新证据后更新我们对事件发生概率的信念的方法。
第一步:理解基础——条件概率
贝叶斯定理建立在条件概率的概念之上。因此,我们首先需要清楚地理解什么是条件概率。
- 定义:条件概率指的是在另一个事件B已经发生的前提下,事件A发生的概率。它记作 P(A|B),读作“在B发生的条件下A的概率”。
- 计算公式:P(A|B) = P(A ∩ B) / P(B),其中 P(B) > 0。
P(A ∩ B)是事件A和事件B同时发生的概率(即交集)。P(B)是事件B发生的概率。
- 直观理解:这个公式的本质是“缩小样本空间”。当我们知道B已经发生后,我们就不再关心整个概率空间了,而是只关注B这个“新世界”。在这个新世界里,A发生的概率,就是A和B同时发生的情况(A ∩ B)占整个B世界的比例。
例子:假设我们有一副标准扑克牌(52张)。
- 事件A:抽到一张K。P(A) = 4/52 = 1/13。
- 事件B:抽到一张红桃。P(B) = 13/52 = 1/4。
- 事件 (A ∩ B):抽到一张既是K又是红桃的牌(即红桃K)。P(A ∩ B) = 1/52。
现在,如果我们已知抽到的牌是红桃(事件B已发生),那么抽到K(事件A)的概率是多少?这就是条件概率 P(A|B)。
P(A|B) = P(A ∩ B) / P(B) = (1/52) / (13/52) = 1/13。
你会发现,在这个例子中 P(A|B) = P(A)。这意味着知道“抽到红桃”这个信息并没有改变“抽到K”的概率,我们说事件A和B是相互独立的。但大多数情况下,新信息是会改变概率的。
第二步:推导贝叶斯定理
现在,我们从条件概率的定义出发,来推导贝叶斯定理。
-
我们有两个条件概率公式:
- 基于事件B的条件概率:P(A|B) = P(A ∩ B) / P(B) ... (1)
- 基于事件A的条件概率:P(B|A) = P(A ∩ B) / P(A) ... (2)
-
注意,这两个公式都包含了 P(A ∩ B)。我们可以分别将公式(1)和(2)变形:
- 由(1)得:P(A ∩ B) = P(A|B) * P(B)
- 由(2)得:P(A ∩ B) = P(B|A) * P(A)
-
由于这两个表达式都等于 P(A ∩ B),所以它们彼此相等:
P(B|A) * P(A) = P(A|B) * P(B) -
最后,我们将等式两边同时除以 P(B)(假设P(B) ≠ 0),就得到了贝叶斯定理的标准形式:
P(A|B) = [P(B|A) * P(A)] / P(B)
这就是贝叶斯定理的核心公式。
第三步:理解公式中各部分的含义(贝叶斯框架)
贝叶斯定理的强大之处在于它为我们提供了一种“逆向”思维。为了更好地理解,我们通常会给事件A和B赋予特定的名称:
- A 代表我们感兴趣的某个假设。在获得新数据之前,我们对它的相信程度是多少?
- B 代表我们观察到的新证据或数据。
基于此,公式中的每个部分都有其特定的名称和意义:
- P(A):先验概率
- 这是在看到新证据B之前,我们对假设A为真的初始概率估计。它基于我们已有的知识或经验。
- P(B|A):似然值
- 这是在假设A为真的条件下,观察到证据B的可能性有多大。它表示的是,如果我们的假设是对的,那么我们看到眼前这个数据的概率是多少。
- P(B):证据 或 归一化常数
- 这是证据B发生的总概率,需要考虑所有可能的情况。计算它通常需要使用全概率公式:P(B) = P(B|A) * P(A) + P(B|¬A) * P(¬A),其中¬A表示“A不成立”。这个项的作用是确保最终计算出的后验概率是一个在0到1之间的有效值,即使得所有可能假设的后验概率之和为1。
- P(A|B):后验概率
- 这是整个公式的结果。它是在看到新证据B之后,我们对假设A为真的更新后的概率。这是我们最终想要知道的。
所以,贝叶斯定理的哲学是:用新证据(似然值)来更新我们旧的信念(先验概率),从而形成一个新的、更准确的信念(后验概率)。
第四步:一个完整的计算实例
让我们通过一个经典的医学诊断例子来应用贝叶斯定理。
问题:某种疾病在人群中的发病率是1%(先验概率)。现有一种检测方法,如果一个人确实患病,检测结果呈阳性(即检测出患病)的概率为99%(敏感性,即似然值)。如果一个人没有患病,检测结果呈阴性(即检测出未患病)的概率为95%(特异性)。问:如果一个人的检测结果是阳性,他真正患病的概率是多少?
定义事件:
- A:事件“一个人确实患病”。
- B:事件“检测结果为阳性”。
已知:
- 先验概率 P(A) = 发病率 = 0.01
- P(¬A) = 1 - P(A) = 0.99 (未患病的概率)
- 似然值 P(B|A) = 敏感性 = 0.99 (患病者被检测出阳性的概率)
- P(B|¬A) = 1 - 特异性 = 1 - 0.95 = 0.05 (未患病者被误诊为阳性的概率)
我们需要求:后验概率 P(A|B),即检测为阳性的条件下,真正患病的概率。
应用贝叶斯定理:
P(A|B) = [P(B|A) * P(A)] / P(B)
首先计算 P(B)(证据的总概率):
根据全概率公式:
P(B) = P(B|A) * P(A) + P(B|¬A) * P(¬A)
P(B) = (0.99 * 0.01) + (0.05 * 0.99)
P(B) = 0.0099 + 0.0495 = 0.0594
然后计算后验概率:
P(A|B) = (0.99 * 0.01) / 0.0594
P(A|B) = 0.0099 / 0.0594 ≈ 0.1667 ≈ 16.67%
结论:即使检测结果呈阳性,这个人真正患病的概率也只有大约16.67%。这个结果远低于大多数人直觉认为的99%。原因在于,疾病的发病率(先验概率)很低,只有1%,而误诊率(5%)相对于发病率来说不算特别低,导致被检测出阳性的人中,很大一部分其实是假阳性。
这个例子清晰地展示了先验信息如何显著影响最终的概率判断,也体现了贝叶斯定理在修正直觉偏差方面的巨大价值。