概率论基础 · 第 5 / 5 节
中心极限定理
样本均值的分布为什么走向钟形;大数定律与中心极限定理各自说了什么。
约 13 分钟
从一个问题开始
同一台仪器反复测量一个量,每次读数都有随机误差。把很多次读数取平均,误差会减小,这我们已经由大数定律知道了:若每次误差的方差是 , 次读数的平均误差的方差就是 。
但还有一层更精细的问题:平均误差的分布长什么样?如果单次误差很偏斜,要么取 、要么取 ,平均以后也会偏斜吗?为什么许多完全不同的随机现象,独立重复足够多次以后,都会显出一条相似的钟形曲线?
先不要看定理。选 Bernoulli(),保持 : 时样本均值就是一次观测,所以直方图也只有 和 两根柱子。把 依次调到 、、,看直方图的形状和宽度怎样变化。再换成均匀分布和指数分布,最后点“标准化后”。
改变的是谁的分布?原始数据会随 增大而变成正态分布吗?
- 模拟直方图
- 正态近似
母分布:每次独立抽一个 Xᵢ
5000 个样本均值的分布,虚线是理论正态曲线
你观察到了什么?先动手,再回答。想清楚之后再看解释。
- 1.选 Bernoulli(p),先看 n = 1 时直方图的形状,再依次切到 n = 10、30、100。形状和宽度分别怎样变?这和“原始数据会变成正态分布”是一回事吗?
- 2.保持 n 不变,分别换成均匀分布和指数分布。哪个统计量随 n 按 1/√n 缩小?点“标准化后”,三种母分布的直方图有什么共同点?
- 3.把 Bernoulli 的 p 从 0.1 调到 0.5。偏斜程度怎样变化?再把 p 调回 0.1,增大 n 时,为什么正态近似又变得可用?
样本均值的中心仍是原来的期望 ,宽度却按 缩小。随着 增大,样本均值的形状越来越接近正态曲线;减去 、再除以 后,不同母分布似乎都趋向同一条 曲线。
前一句话关于“中心与宽度”,后一句话关于“形状”。它们分别是大数定律与中心极限定理的内容,不能混为一谈。
定义
随机变量 独立同分布(i.i.d.),是指它们相互独立,并且服从同一个分布。记它们的共同期望为 、共同方差为
由期望与方差一节的线性性和独立变量的方差可加性,
因此样本均值的分布是否接近正态,和母分布是否正态是两个独立的问题。
若随机变量 的分布函数 在 的分布函数 的每个连续点 上都满足
就称 依分布收敛到 ,记作 。只要求分布函数的连续点,是为了避开离散分布的跳点,并不要求 在每个样本点上都接近 。
随机变量 的特征函数是
由于 ,这个期望总是存在。标准正态分布 的特征函数是 。
定理与证明
对常数 ,
若 与 独立,则
由指数函数的性质和独立时乘积的期望可以拆开,
若 ,则对每个固定的 ,
其中 ,
Taylor 展开给出
并有常用估计 和 。于是
只需证明 。任取 ,由 ,可选取 使
两边除以 并令 ,得
若对每个实数 都有
这是特征函数成为研究分布极限的工具的原因。它是 Lévy 连续性定理,本节把它作为分析工具引用;下面证明中心极限定理时,只需验证特征函数逐点收敛。
设 独立同分布,,
也就是说,对任意实数 ,
记 。由上面的性质和独立性,
对固定的 ,当 时 ,由二阶展开得
因此
这里使用了标准极限:若 ,则 ;当 足够大时可取主分支对数,
定理没有要求母分布是正态,也没有要求它有密度、有三阶矩或有界。独立同分布和有限方差才是关键条件。 中心化的方式也有固定含义:先减 ,再除以 ,而不是除以 。
大数定律和中心极限定理不是一回事。 大数定律说 依概率趋于 ,偏差的典型尺度是 ;中心极限定理把这个偏差乘以 后再看,得到标准正态分布。前者讲“平均会稳定在哪里”,后者讲“标准化后的波动是什么形状”。
母分布不会因为 增大而变成正态。 仍服从原来的 Bernoulli、均匀或指数分布。趋向正态的是 的分布。离散母分布还有格点效应:Bernoulli 的样本均值只能取间隔为 的值,正态曲线是连续近似,不是逐点概率的替代。
独立同分布不能随意删掉。 若所有误差都含同一个公共部分,即使每个误差方差有限,公共部分也不会被平均消去;上一节中
应用
设 ,则 是 个独立示性变量之和,,
由于 取整数值,计算区间概率时把边界移动 ,称为连续性修正:
例如 ,则 、,
这里 和 恰好关于 对称,所以左右各修正 后 。
若 大而 小, 表示许多稀有成功事件的计数,Poisson 近似通常更自然,因为成功次数仍是非负整数,分布可能明显右偏。若 不接近 或 ,且 较大,正态近似通常更好。选择近似时要看分布形状和参数,不只是看 的大小。
独立重复测量时, 的标准差是 ,中心极限定理进一步给出近似置信区间。例如近似地有
这解释了“多测几次”不仅能让误差变小,还能用正态曲线估计误差落在某个范围内的概率。若测量误差存在共同偏差或强相关,则不能直接套用这个公式。
在绘图器里画 exp(-x^2/2)/sqrt(2*pi),这是 的密度。再画 exp(-(x-1)^2/(2*0.25))/(0.5*sqrt(2*pi)),比较中心和宽度:后者是均值为 、标准差为 的正态密度。实验中的标准化,就是把不同样本均值的分布都变成前一种形状。
中心极限定理解释了独立小误差叠加后为什么常出现钟形,却没有说所有随机现象都服从正态。它讨论的是独立同分布项的和。把每一步独立增量连续地接起来,就会通向随机游走和 Brown 运动;这也是概率论继续连接分析与微分方程的一条路。
练习
已完成 0 / 4
✓ 这一节的练习全部完成。
讨论
发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com
还没有评论。写下你的理解、疑问,或者指出这一页的错误。
登录后参与讨论