概率论基础 · 第 2 / 3 节
条件概率与 Bayes
知道一件事发生了,就把样本空间缩小到它;再用结果反推原因。
约 11 分钟
从一个问题开始
某种病在人群中的患病率是 。一种检测对病人有 的概率呈阳性,对健康人也有 的概率误报阳性。你的检测结果是阳性。你真正患病的概率是多少?
很多人(包括不少医生)会回答"大约 "。真实答案约为 。
"已知阳性"是一条新信息。它不改变世界,只改变我们应当关注的那一部分世界。怎样把"已知某事发生"写进概率空间,就是本节的问题。
先玩再读。下面是一千个人:红色方块是病人,灰色圆点是健康人;实心是检测阳性,空心是阴性。数一数实心的里面有几个是红色方块。
- 患病 · 阳性
- 健康 · 阳性
- 患病 · 阴性
- 健康 · 阴性
你观察到了什么?先动手,再回答。想清楚之后再看解释。
- 1.默认参数下,阳性的人里真正患病的有几个?为什么灵敏度高达 95%,这个比例却这么低?
- 2.把患病率从 1% 拖到 20%,后验概率怎样变?检测本身并没有变。
- 3.打开“复检阳性者”:为什么同一个检测做第二次,结论就可靠得多?
阳性的人里,真正的病人只有约 个,误报的健康人却有约 个。所以答案应该是"阳性里病人所占的比例":
知道"阳性"之后,我们其实是把一千人缩小成了这 个阳性者,在这个小群体里重新算比例。
定义
设 。事件 在 发生的条件下的条件概率为
读法就是猜想里的做法:已知 发生,样本空间从 缩小到 ; 还能发生的部分只剩 ;再除以 ,让新的全空间 的概率重新等于 。
- 事件 A(左边一列)
- A ∩ B
- B 在 A 之外的部分
- P(B) 的高度
你观察到了什么?先动手,再回答。想清楚之后再看解释。
- 1.按“独立”:B 变成了什么形状?这时 P(B | A) 和 P(B) 是什么关系?
- 2.按“互斥”:A 和 B 看起来“毫不相干”,它们独立吗?
- 3.打开“以 B 为条件”,P(A | B) 是哪两块面积之比?它和 P(B | A) 一般相等吗?
"重新归一化"之后得到的,仍然是一个满足全部公理的概率。
设 ,则 满足 Kolmogorov 公理。
非负:,。规范:
所以上一节证明的所有性质(补事件、单调性、加法公式)对 全部成立,不必重证。把定义两边乘以 ,就得到常用的形式:
若 ,称事件 与 相互独立。
当 时,这等价于 :知道 发生,对 的判断毫无影响。在实验里,这就是 在 内外一样高、拼成一条水平带的情形。定义写成乘积而不写成条件概率,是因为乘积形式对 对称,而且在 时也有意义。
独立不是互斥。 互斥说的是 :一个发生,另一个就不可能发生。这恰恰是强烈的相关。若 且 互斥,则 ,它们一定不独立。在实验里按"互斥", 在 那一列里高度为零,远不是一条水平带。
定理与证明
回到开头的问题:我们知道的是 ,想要的是 。连接二者需要两个定理。
设 两两互斥、,且每个 。则对任意事件 ,
,且这些事件两两互斥,所以 。对每一项用乘法公式
全概率公式是"分情况讨论":想知道 的总概率,就按互不重叠的原因 分开算,再加权求和。
在同样的条件下,若 ,则对每个 ,
由定义与乘法公式,
Bayes 公式把"原因 → 结果"的概率 翻转成"结果 → 原因"的概率 。翻转时必须乘上 ,也就是在看到结果之前对原因的估计,称为先验;算出来的 称为后验。
取 "患病","健康","阳性"。先验 ,,。
分母里误报那一项 是真阳性那一项 的八倍多:病人太少,误报的绝对人数压过了真阳性。
和 一般不相等,混淆二者是最常见也最危险的错误。"病人检测阳性的概率是 "说的是 ,不是 。法庭上也有同样的错误("检察官谬误"):说"无辜者恰好匹配这份证据的概率只有百万分之一",并不等于"匹配者无辜的概率只有百万分之一",后者还取决于有多少人可能匹配,也就是先验。
应用
第一次阳性后再做一次同样的检测,又是阳性。此时"先验"已经不是人群的 ,而是第一次检测后的 :
一次检测只能把 推到 ,两次就推到 。这里假设了两次检测在"是否患病"已知时条件独立(误报不是由同一个体质原因引起的);若误报会重复出现,复检的价值就大打折扣。在实验里打开"复检阳性者"可以看到这一步。
在绘图器里画 ,横轴 是先验(患病率),纵轴是阳性后的后验。 接近 时后验约为 :曲线一开始升得很快,但只要患病率在 左右或更低,后验就仍然很小。这就是筛查罕见病时,阳性结果需要复查的原因。
延伸:贝叶斯神经网络
把"是否患病"换成神经网络的权重 ,把"检测结果"换成训练数据 ,Bayes 公式一个字都不用改:
(这里的 是概率密度,可以先把它当作"连续版的概率",后面"随机变量"一节会给出定义。)
普通的训练只找一组最好的权重。贝叶斯神经网络保留整个后验 :权重不再是一组确定的数,而是一个关于所有权重的联合分布,说明每种取值有多可信。预测时对所有可能的权重做加权平均,
于是模型在数据稀少的地方会给出分散的预测:它知道自己没把握。这在医疗、自动驾驶这类"说不知道比说错更好"的场合很有价值。
一个意外的联系:如果只取后验最大的那组权重,并让每个权重独立地服从正态先验 ,那么最大化 就等价于最小化
真正的难点是后验本身算不出来:分母 和预测时的那个积分都要对所有权重积分,维数动辄上百万。实践中用变分推断、Monte Carlo dropout 去近似后验,或用 MCMC 直接从后验抽样,那是另一门课的故事了。
这一节里的事件只有"发生/不发生"两种状态。下一节随机变量与分布把结果变成数:检测次数、阳性人数、等待时间;本节的全概率公式和 Bayes 公式会在那里变成对分布的求和与积分。
筛查实验的思路参考:github.com/huzhuofan1020-svg/ybs
事件关系实验的思路参考:github.com/huzhuofan1020-svg/Venn
练习
已完成 0 / 4
✓ 这一节的练习全部完成。
下一节:随机变量与分布 →
讨论
发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com
还没有评论。写下你的理解、疑问,或者指出这一页的错误。
登录后参与讨论