LeoMath

概率论基础 · 第 2 / 3 节

条件概率与 Bayes

知道一件事发生了,就把样本空间缩小到它;再用结果反推原因。

约 11 分钟

从一个问题开始

问题

某种病在人群中的患病率是 1%。一种检测对病人有 95% 的概率呈阳性,对健康人也有 8% 的概率误报阳性。你的检测结果是阳性。你真正患病的概率是多少?

很多人(包括不少医生)会回答"大约 95%"。真实答案约为 11%。

"已知阳性"是一条新信息。它不改变世界,只改变我们应当关注的那一部分世界。怎样把"已知某事发生"写进概率空间,就是本节的问题。

观察

先玩再读。下面是一千个人:红色方块是病人,灰色圆点是健康人;实心是检测阳性,空心是阴性。数一数实心的里面有几个是红色方块。

交互实验筛查中的 Bayes
  • 患病 · 阳性
  • 健康 · 阳性
  • 患病 · 阴性
  • 健康 · 阴性
阳性 89其中患病 10占比(人数取整) 10/89 ≈ 0.112
P(病|+)=P(+|病)P(病)P(+)先验 → 后验 0.010 → 0.107

你观察到了什么?先动手,再回答。想清楚之后再看解释。

  1. 1.默认参数下,阳性的人里真正患病的有几个?为什么灵敏度高达 95%,这个比例却这么低?
  2. 2.把患病率从 1% 拖到 20%,后验概率怎样变?检测本身并没有变。
  3. 3.打开“复检阳性者”:为什么同一个检测做第二次,结论就可靠得多?
猜想

阳性的人里,真正的病人只有约 10 个,误报的健康人却有约 79 个。所以答案应该是"阳性里病人所占的比例":

真阳性真阳性+假阳性≈1089.

知道"阳性"之后,我们其实是把一千人缩小成了这 89 个阳性者,在这个小群体里重新算比例。

定义

定义 2.1条件概率

设 P(B)>0。事件 A 在 B 发生的条件下的条件概率为

P(A|B)=P(A∩B)P(B).

读法就是猜想里的做法:已知 B 发生,样本空间从 Ω 缩小到 B;A 还能发生的部分只剩 A∩B;再除以 P(B),让新的全空间 B 的概率重新等于 1。

交互实验条件概率是面积之比
  • 事件 A(左边一列)
  • A ∩ B
  • B 在 A 之外的部分
  • P(B) 的高度
P(A∪B) 0.600P(B|A) 0.600P(B|Aᶜ) 0.200P(A|B) 0.750P(A∩B) − P(A)P(B) 0.100 · 正相关

你观察到了什么?先动手,再回答。想清楚之后再看解释。

  1. 1.按“独立”:B 变成了什么形状?这时 P(B | A) 和 P(B) 是什么关系?
  2. 2.按“互斥”:A 和 B 看起来“毫不相干”,它们独立吗?
  3. 3.打开“以 B 为条件”,P(A | B) 是哪两块面积之比?它和 P(B | A) 一般相等吗?

"重新归一化"之后得到的,仍然是一个满足全部公理的概率。

命题 2.1条件概率是概率

设 P(B)>0,则 Q(A)=P(A|B) 满足 Kolmogorov 公理。

证明

非负:P(A∩B)≥0,P(B)>0。规范:Q(Ω)=P(Ω∩B)/P(B)=1。可列可加:若 A1,A2,… 两两互斥,则 A1∩B,A2∩B,… 也两两互斥,且 (⋃iAi)∩B=⋃i(Ai∩B),于是

Q(⋃iAi)=∑iP(Ai∩B)P(B)=∑iQ(Ai).

所以上一节证明的所有性质(补事件、单调性、加法公式)对 P(⋅|B) 全部成立,不必重证。把定义两边乘以 P(B),就得到常用的形式:

推论 2.2乘法公式

P(A∩B)=P(B)P(A|B)=P(A)P(B|A)(出现的条件概率要求分母为正)。

定义 2.2独立

若 P(A∩B)=P(A)P(B),称事件 A 与 B 相互独立。

当 P(B)>0 时,这等价于 P(A|B)=P(A):知道 B 发生,对 A 的判断毫无影响。在实验里,这就是 B 在 A 内外一样高、拼成一条水平带的情形。定义写成乘积而不写成条件概率,是因为乘积形式对 A,B 对称,而且在 P(B)=0 时也有意义。

常见错误

独立不是互斥。 互斥说的是 A∩B=⌀:一个发生,另一个就不可能发生。这恰恰是强烈的相关。若 P(A),P(B)>0 且 A,B 互斥,则 P(A∩B)=0≠P(A)P(B),它们一定不独立。在实验里按"互斥",B 在 A 那一列里高度为零,远不是一条水平带。

定理与证明

回到开头的问题:我们知道的是 P(+|病),想要的是 P(病|+)。连接二者需要两个定理。

定理 2.3全概率公式

设 B1,…,Bn 两两互斥、⋃iBi=Ω,且每个 P(Bi)>0。则对任意事件 A,

P(A)=∑i=1nP(A|Bi)P(Bi).
证明

A=⋃i(A∩Bi),且这些事件两两互斥,所以 P(A)=∑iP(A∩Bi)。对每一项用乘法公式 P(A∩Bi)=P(A|Bi)P(Bi)。

全概率公式是"分情况讨论":想知道 A 的总概率,就按互不重叠的原因 Bi 分开算,再加权求和。

定理 2.4Bayes 公式

在同样的条件下,若 P(A)>0,则对每个 k,

P(Bk|A)=P(A|Bk)P(Bk)∑i=1nP(A|Bi)P(Bi).
证明

由定义与乘法公式,P(Bk|A)=P(Bk∩A)P(A)=P(A|Bk)P(Bk)P(A);分母用全概率公式展开。

Bayes 公式把"原因 → 结果"的概率 P(A|Bk) 翻转成"结果 → 原因"的概率 P(Bk|A)。翻转时必须乘上 P(Bk),也就是在看到结果之前对原因的估计,称为先验;算出来的 P(Bk|A) 称为后验。

例 2.1解开头的问题

取 B1="患病",B2="健康",A="阳性"。先验 P(B1)=0.01,P(A|B1)=0.95,P(A|B2)=0.08。

P(病|+)=0.95×0.010.95×0.01+0.08×0.99=0.00950.0887≈0.107.

分母里误报那一项 0.0792 是真阳性那一项 0.0095 的八倍多:病人太少,误报的绝对人数压过了真阳性。

常见错误

P(A|B) 和 P(B|A) 一般不相等,混淆二者是最常见也最危险的错误。"病人检测阳性的概率是 95%"说的是 P(+|病),不是 P(病|+)。法庭上也有同样的错误("检察官谬误"):说"无辜者恰好匹配这份证据的概率只有百万分之一",并不等于"匹配者无辜的概率只有百万分之一",后者还取决于有多少人可能匹配,也就是先验。

应用

应用复检:后验变成新的先验

第一次阳性后再做一次同样的检测,又是阳性。此时"先验"已经不是人群的 1%,而是第一次检测后的 0.107:

P(病|++)=0.95×0.1070.95×0.107+0.08×0.893≈0.59.

一次检测只能把 1% 推到 11%,两次就推到 59%。这里假设了两次检测在"是否患病"已知时条件独立(误报不是由同一个体质原因引起的);若误报会重复出现,复检的价值就大打折扣。在实验里打开"复检阳性者"可以看到这一步。

用函数绘图器试一试 →

在绘图器里画 0.95x0.95x+0.08(1−x),横轴 x 是先验(患病率),纵轴是阳性后的后验。x 接近 0 时后验约为 12x:曲线一开始升得很快,但只要患病率在 1% 左右或更低,后验就仍然很小。这就是筛查罕见病时,阳性结果需要复查的原因。

延伸:贝叶斯神经网络

把"是否患病"换成神经网络的权重 w,把"检测结果"换成训练数据 D,Bayes 公式一个字都不用改:

p(w|D)=p(D|w)p(w)p(D).

(这里的 p 是概率密度,可以先把它当作"连续版的概率",后面"随机变量"一节会给出定义。)

普通的训练只找一组最好的权重。贝叶斯神经网络保留整个后验 p(w|D):权重不再是一组确定的数,而是一个关于所有权重的联合分布,说明每种取值有多可信。预测时对所有可能的权重做加权平均,

p(y|x,D)=∫p(y|x,w)p(w|D)dw,

于是模型在数据稀少的地方会给出分散的预测:它知道自己没把握。这在医疗、自动驾驶这类"说不知道比说错更好"的场合很有价值。

一个意外的联系:如果只取后验最大的那组权重,并让每个权重独立地服从正态先验 N(0,σ2),那么最大化 log⁡p(D|w)+log⁡p(w) 就等价于最小化 −log⁡p(D|w)+12σ2‖w‖2:负对数似然加上一个 L2 正则项。(若损失按样本数取平均或另作缩放,正则系数也随之改变;在普通 SGD 下,L2 正则就是权重衰减。)正则化就是先验。

真正的难点是后验本身算不出来:分母 p(D) 和预测时的那个积分都要对所有权重积分,维数动辄上百万。实践中用变分推断、Monte Carlo dropout 去近似后验,或用 MCMC 直接从后验抽样,那是另一门课的故事了。

注

这一节里的事件只有"发生/不发生"两种状态。下一节随机变量与分布把结果变成数:检测次数、阳性人数、等待时间;本节的全概率公式和 Bayes 公式会在那里变成对分布的求和与积分。

筛查实验的思路参考:github.com/huzhuofan1020-svg/ybs

事件关系实验的思路参考:github.com/huzhuofan1020-svg/Venn

练习

已完成 0 / 4

1
掷两颗均匀骰子,已知点数之和为 8,求第一颗是 6 的条件概率。(可以填分数)

可以填小数或分数;与标准答案相差不超过 0.001 即判对。

2
甲、乙两台机器分别生产 60% 和 40% 的零件,次品率分别为 2% 和 5%。随机抽到一个次品,它来自乙的概率是多少?(保留三位小数)

可以填小数或分数;与标准答案相差不超过 0.0006 即判对。

3
设 P(A)>0,P(B)>0,且 A 与 B 互斥。那么 A 与 B:
第 3 题的答案
4
沿用正文的检测:患病率 1%,灵敏度 95%,误报率 8%。某人连续两次检测都呈阳性(两次检测在是否患病已知时条件独立),他患病的概率是多少?(保留两位小数)

可以填小数或分数;与标准答案相差不超过 0.006 即判对。

讨论

发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com

还没有评论。写下你的理解、疑问,或者指出这一页的错误。

登录后参与讨论