概率论基础 · 第 3 / 3 节
随机变量与分布
把结果变成数;二项分布的极限是 Poisson。
约 20 分钟
从一个问题开始
一个客服中心有 位客户,每一位在某个小时内打进电话的概率都是 ,彼此独立。这一小时里打进来的电话有几个?个数当然是随机的,真正要问的是: 个电话的概率各是多少?只开 条线,有多大的机会不够用?
老老实实地算,要用到 这样大得吓人的数。可人们早就注意到:只要数的是稀有事件发生了几次,比如一页书上的错字、一小时里的来电、一秒钟里打到探测器上的光子,得到的分布几乎总是同一个形状,而且只由平均次数决定。为什么会这样?
要回答它,先得把"试验的结果"变成"一个数"。这就是随机变量。
先玩再读。柱子是" 次独立试验里成功了几次"的分布,每次成功的概率是 ;圆点是另一个只由平均次数 决定的分布。保持 ,把 从 拖到 。柱子和圆点最后是什么关系? 再按"抽样":中间那一排格子就是一次试验的全部结果,红格子的个数就是这一次数出来的数。
- 二项分布 B(n, p)
- Poisson(λ)
峰值分析的思路参考:github.com/huzhuofan1020-svg/EXFB
计数模拟的思路参考:github.com/huzhuofan1020-svg/PoissonDist
你观察到了什么?先动手,再回答。想清楚之后再看解释。
- 1.保持 λ = 3,把 n 从 10 调到 100,再调到 1000。柱子和圆点怎样靠拢?距离 d 每次变成原来的多少?
- 2.把 n 固定在 20,比较 λ = 1 与 λ = 10。n 一样大,为什么一个近似得很好、一个差得很远?
- 3.按“峰值并列”(n = 9,λ = 4.5):最高的柱子有几根?一般地,最可能的值在哪里?
越大、每次成功的概率 越小,柱子就越贴近圆点,最后只剩下 一个参数起作用;下面那张图说明,两者的差距大约按 缩小。圆点的公式是 ,于是猜想:
要把"一个分布趋于另一个分布"说清楚,先要说清楚"数"和"分布"是什么。
定义
设 是概率空间。函数 称为随机变量。若 只取有限或可数多个值,称 为离散型随机变量。
随机变量既不"随机",也不是"变量":它是一个完全确定的函数,随机性全在样本点 上。实验里那一排格子就是一个样本点 ( 次试验各自成功或失败), 是红格子的个数。对每个实数 ,
离散型随机变量 的分布列是函数 ,其中 取遍 的所有可能值。
分布列的值非负,且总和为 :事件 对不同的 两两互斥,并起来是整个 ,由可列可加性
要写出成功次数的分布列,需要把上一节的独立推广到多个事件:称 相互独立,是指从中任取若干个,它们同时发生的概率都等于各自概率的乘积。
做 次试验,各次试验成功与否相互独立,每次成功的概率都是 。成功的次数 服从的分布称为二项分布,记作 。
若 ,则
先看一个具体的结果:恰好第 次成功、其余 次失败。由独立性(事件独立时,把其中一些换成补事件仍然独立),它的概率是 ,与成功发生在哪几次无关。不同的结果两两互斥,而从 次中选出成功的 次共有 种选法,相加即得。由二项式定理,
柱子最高的地方在哪里?比较相邻两项就知道。
设 ,。 在 处最大;若 是整数,则 与 两处并列最大。
对 ,由
这个比值大于 ,当且仅当 ,即 。所以 时分布列逐项上升, 时逐项下降, 时相邻两项相等。记 :若 不是整数,最高点在 ;若 是整数,则 , 与 两项并列最高。
,所以最可能的值与 相差不到 ,但未必等于 。 甚至可以不是整数,而 只取整数。实验里的小三角标出了 的位置,按"峰值并列"可以看到两根一样高的柱子。
设 。若随机变量 取值 ,且
称 服从参数为 的 Poisson 分布,记作
它确实是分布列:由 的 Taylor 展开,
定理与证明
设 ,()。对每个固定的 ,
把要求极限的式子拆成三个因子:
这里用了
因为 时 ,这正是 在 处的导数。由 连续,
证明里每一步都用到" 固定":若 随 一起增大, 就未必趋于 。所以定理说的是每一根柱子分别收敛。实验下方的 衡量的却是整张分布列的差距,它有一个更强、更实用的版本。
实验中的
称为两个分布的全变差距离。可以证明,它等于"任取一个事件 , 与 的概率之差"的最大值。也就是说,用 Poisson 分布代替二项分布去回答任何关于计数的问题,误差都不超过 。Le Cam 在 1960 年证明了
而且各次试验的成功概率 不必相同,同样有 。在双对数图上,这个上界是一条斜率为 的直线(实验里的虚线),真实的 与它平行: 大十倍,误差小十倍。
只让 大是不够的,还要 小。 保持 :()时两者的距离约 ,()时约 。 取不到 以上的值,而且比 窄得多。下一节会看到,二项分布的方差是 ,Poisson 分布的方差是 ,两者只差一个因子 。Poisson 近似说的是稀有事件:每次都不太可能发生,但机会很多。
同分布不等于相等。 抛 次均匀硬币,正面次数 与反面次数 都服从 ,分布完全一样,可是除非恰好 对 ,这两个数从来不相等。分布只记录"每个值的概率",不记录"这个值来自哪个 "。同样, 不是一个数,而是一个事件 。
应用
来电数 ,。用 Poisson 分布,
精确值是 。只开 条线,大约每十二个小时就有一个小时不够用;开到 条,,不够用的小时降到约八十分之一。计算里没有出现 和 ,只出现了它们的乘积 :客户数翻倍、每人打电话的概率减半,答案几乎不变。
个人有 对,每一对同一天生日的概率是 。"同一天生日的对数"是许多个稀有事件的计数,近似服从 ,。于是
恰好是概率空间一节用 得到的那个指数。 时
一秒钟内打到探测器上的光子数
(第二步令 。)所以
在绘图器里画 ,再画常数 。 时前者只有 , 时是 , 时是 :Poisson 极限定理证明里最关键的一步,就是这条曲线趋于这条水平线。
延伸:等待时间与概率密度
同样的想法还能回答另一个问题:下一个电话要等多久? 设来电的平均速率是每小时 个。把 切成 小段,每段里有来电的概率约为 ,由 Poisson 极限定理, 内的来电数近似服从 。等待时间 超过 ,就是 内一个电话也没有:
可以取 中的任何实数,对每个具体的 都有 ,分布列在这里毫无用处。需要换一种描述。
随机变量 的分布函数是 。若存在非负函数 ,使得对所有实数 都有
称 为连续型随机变量, 为它的概率密度。
这时
概率空间一节假设 有限或可数,那时每个子集都可以是事件。像 这样取连续值的随机变量,需要不可数的 ,这时并不是每个子集都能合理地赋予概率,只能对一类足够大的集合族(包含所有区间)定义 。严格的处理属于测度论,这条路线不展开;本节用到的只有区间的概率,不会碰到这个问题。
二项分布的最高点在 附近,Poisson 分布的在 附近。这个"中心"的精确版本是期望,"宽度"的精确版本是方差,那是下一节期望与方差(建设中)的主题。在那里还会看到,两个随机变量的协方差就是内积,所以 Cauchy–Schwarz 不等式直接给出 。
二项分布峰值分析的思路参考:github.com/huzhuofan1020-svg/EXFB
Poisson 计数模拟的思路参考:github.com/huzhuofan1020-svg/PoissonDist
练习
已完成 0 / 4
✓ 这一节的练习全部完成。
讨论
发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com
还没有评论。写下你的理解、疑问,或者指出这一页的错误。
登录后参与讨论