LeoMath

概率论基础 · 第 5 / 5 节

中心极限定理

样本均值的分布为什么走向钟形;大数定律与中心极限定理各自说了什么。

约 13 分钟

从一个问题开始

问题

同一台仪器反复测量一个量,每次读数都有随机误差。把很多次读数取平均,误差会减小,这我们已经由大数定律知道了:若每次误差的方差是 σ2,n 次读数的平均误差的方差就是 σ2/n。

但还有一层更精细的问题:平均误差的分布长什么样?如果单次误差很偏斜,要么取 0、要么取 1,平均以后也会偏斜吗?为什么许多完全不同的随机现象,独立重复足够多次以后,都会显出一条相似的钟形曲线?

观察

先不要看定理。选 Bernoulli(p),保持 p=0.1:n=1 时样本均值就是一次观测,所以直方图也只有 0 和 1 两根柱子。把 n 依次调到 10、30、100,看直方图的形状和宽度怎样变化。再换成均匀分布和指数分布,最后点“标准化后”。

改变的是谁的分布?原始数据会随 n 增大而变成正态分布吗?

交互实验样本均值怎样变成钟形
  • 模拟直方图
  • 正态近似

母分布:每次独立抽一个 Xᵢ

5000 个样本均值的分布,虚线是理论正态曲线

每个样本的容量 n
均值的均值 0.1均值的标准差 0.093理论值 0.1 ± 0.095
母分布均值 μ 0.1均值的标准差 σ/√n 0.095
X‾n=X1+⋯+XnnZn=X‾n−μσ/nVar⁡(X‾n)=σ2n

你观察到了什么?先动手,再回答。想清楚之后再看解释。

  1. 1.选 Bernoulli(p),先看 n = 1 时直方图的形状,再依次切到 n = 10、30、100。形状和宽度分别怎样变?这和“原始数据会变成正态分布”是一回事吗?
  2. 2.保持 n 不变,分别换成均匀分布和指数分布。哪个统计量随 n 按 1/√n 缩小?点“标准化后”,三种母分布的直方图有什么共同点?
  3. 3.把 Bernoulli 的 p 从 0.1 调到 0.5。偏斜程度怎样变化?再把 p 调回 0.1,增大 n 时,为什么正态近似又变得可用?
猜想

样本均值的中心仍是原来的期望 μ,宽度却按 σ/n 缩小。随着 n 增大,样本均值的形状越来越接近正态曲线;减去 μ、再除以 σ/n 后,不同母分布似乎都趋向同一条 N(0,1) 曲线。

前一句话关于“中心与宽度”,后一句话关于“形状”。它们分别是大数定律与中心极限定理的内容,不能混为一谈。

定义

定义 5.1独立同分布与样本均值

随机变量 X1,X2,… 独立同分布(i.i.d.),是指它们相互独立,并且服从同一个分布。记它们的共同期望为 μ=EXi、共同方差为 σ2=Var⁡Xi,并设 σ2<∞。前 n 个变量的样本均值是

X‾n=X1+⋯+Xnn.

由期望与方差一节的线性性和独立变量的方差可加性,

EX‾n=μ,Var⁡X‾n=σ2n.

因此样本均值的分布是否接近正态,和母分布是否正态是两个独立的问题。

定义 5.2依分布收敛

若随机变量 Zn 的分布函数 Fn 在 Z 的分布函数 F 的每个连续点 x 上都满足

Fn(x)⟶F(x),

就称 Zn 依分布收敛到 Z,记作 Zn⇒Z。只要求分布函数的连续点,是为了避开离散分布的跳点,并不要求 Zn(ω) 在每个样本点上都接近 Z(ω)。

定义 5.3特征函数

随机变量 X 的特征函数是

φX(t)=E[eitX],t∈ℝ.

由于 |eitX|=1,这个期望总是存在。标准正态分布 N(0,1) 的特征函数是 e−t2/2。

定理与证明

命题 5.1特征函数的基本性质

对常数 a,b,

φaX+b(t)=eitbφX(at).

若 X 与 Y 独立,则

φX+Y(t)=φX(t)φY(t).
证明

由指数函数的性质和独立时乘积的期望可以拆开,

φaX+b(t)=E[eit(aX+b)]=eitbE[eiatX]=eitbφX(at),
φX+Y(t)=E[eitXeitY]=E[eitX]E[eitY]=φX(t)φY(t).
命题 5.2有限方差时的二阶展开

若 EX2<∞,则对每个固定的 t,

φX(t)=1+iμt−σ2+μ22t2+o(t2)(t→0),

其中 μ=EX,σ2=Var⁡X。特别地,若 EX=0,则 φX(t)=1−σ22t2+o(t2)。

证明

Taylor 展开给出

eitx=1+itx−t2x22+R(t,x),

并有常用估计 |R(t,x)|≤|t|3|x|3/6 和 |R(t,x)|≤t2x2。于是

φX(t)=1+iμt−EX22t2+E[R(t,X)].

只需证明 E[R(t,X)]=o(t2)。任取 ε>0,由 EX2<∞,可选取 M 使 E[X2𝟏|X|>M]<ε。在 |X|≤M 上用第一个估计,在 |X|>M 上用第二个估计:

E|R(t,X)|≤|t|3M36+t2ε.

两边除以 t2 并令 t→0,得 lim supt→0⁡|E[R(t,X)]|/t2≤ε。由于 ε 任意,余项为 o(t2)。最后代入 EX2=σ2+μ2 即可。这个证明只要求二阶矩,不要求三阶矩。

命题 5.3Lévy 连续性定理

若对每个实数 t 都有 φZn(t)→φZ(t),则 Zn⇒Z。

这是特征函数成为研究分布极限的工具的原因。它是 Lévy 连续性定理,本节把它作为分析工具引用;下面证明中心极限定理时,只需验证特征函数逐点收敛。

定理 5.4独立同分布的中心极限定理

设 X1,X2,… 独立同分布,EXi=μ,Var⁡Xi=σ2>0 且有限。则

Zn=X‾n−μσ/n ⟹ N(0,1).

也就是说,对任意实数 x,

P(Zn≤x)⟶Φ(x)=∫−∞xe−u2/22πdu.
证明

记 Sn=X1+⋯+Xn。由上面的性质和独立性,

φZn(t)=e−itμn/σ[φX(tσn)]n.

对固定的 t,当 n→∞ 时 t/(σn)→0,由二阶展开得

φX(tσn)=1−t22n+o(1n).

因此

φZn(t)=[1+−t2/2+o(1)n]n⟶e−t2/2.

这里使用了标准极限:若 zn→z,则 (1+zn/n)n→ez;当 n 足够大时可取主分支对数,log⁡(1+zn/n)=zn/n+O(1/n2)。右端正是 N(0,1) 的特征函数,由 Lévy 连续性定理,Zn⇒N(0,1)。

定理没有要求母分布是正态,也没有要求它有密度、有三阶矩或有界。独立同分布和有限方差才是关键条件。 中心化的方式也有固定含义:先减 μ,再除以 σ/n,而不是除以 σ/n。

常见错误

大数定律和中心极限定理不是一回事。 大数定律说 X‾n−μ 依概率趋于 0,偏差的典型尺度是 σ/n;中心极限定理把这个偏差乘以 n/σ 后再看,得到标准正态分布。前者讲“平均会稳定在哪里”,后者讲“标准化后的波动是什么形状”。

常见错误

母分布不会因为 n 增大而变成正态。 Xi 仍服从原来的 Bernoulli、均匀或指数分布。趋向正态的是 X‾n 的分布。离散母分布还有格点效应:Bernoulli 的样本均值只能取间隔为 1/n 的值,正态曲线是连续近似,不是逐点概率的替代。

常见错误

独立同分布不能随意删掉。 若所有误差都含同一个公共部分,即使每个误差方差有限,公共部分也不会被平均消去;上一节中 Var⁡X‾n→ρσ2 就是例子。若方差无限,二阶展开和本节的证明也不再成立,还可能出现不同于正态的极限分布。

应用

应用二项分布的正态近似与连续性修正

设 X∼B(n,p),则 X 是 n 个独立示性变量之和,EX=np,Var⁡X=np(1−p)。当 n 较大且 np(1−p) 不太小时,可以近似

X−npnp(1−p)≈N(0,1).

由于 X 取整数值,计算区间概率时把边界移动 0.5,称为连续性修正:

P(a≤X≤b)≈Φ(b+0.5−npnp(1−p))−Φ(a−0.5−npnp(1−p)).

例如 X∼B(100,0.5),则 EX=50、Var⁡X=25,

P(45≤X≤55)≈Φ(1.1)−Φ(−1.1)≈0.7286.

这里 45 和 55 恰好关于 50 对称,所以左右各修正 0.5 后 z=(55.5−50)/5=1.1。

应用正态近似还是 Poisson 近似?

若 n 大而 p 小,X∼B(n,p) 表示许多稀有成功事件的计数,Poisson 近似通常更自然,因为成功次数仍是非负整数,分布可能明显右偏。若 p 不接近 0 或 1,且 np(1−p) 较大,正态近似通常更好。选择近似时要看分布形状和参数,不只是看 n 的大小。

应用重复测量的误差

独立重复测量时,X‾n−μ 的标准差是 σ/n,中心极限定理进一步给出近似置信区间。例如近似地有

P(|X‾n−μ|≤1.96σn)≈0.95.

这解释了“多测几次”不仅能让误差变小,还能用正态曲线估计误差落在某个范围内的概率。若测量误差存在共同偏差或强相关,则不能直接套用这个公式。

用函数绘图器试一试 →

在绘图器里画 exp(-x^2/2)/sqrt(2*pi),这是 N(0,1) 的密度。再画 exp(-(x-1)^2/(2*0.25))/(0.5*sqrt(2*pi)),比较中心和宽度:后者是均值为 1、标准差为 0.5 的正态密度。实验中的标准化,就是把不同样本均值的分布都变成前一种形状。

注

中心极限定理解释了独立小误差叠加后为什么常出现钟形,却没有说所有随机现象都服从正态。它讨论的是独立同分布项的和。把每一步独立增量连续地接起来,就会通向随机游走和 Brown 运动;这也是概率论继续连接分析与微分方程的一条路。

练习

已完成 0 / 4

1
独立同分布的随机变量期望都是 2、标准差都是 3。取 36 个变量求样本均值,样本均值的标准差是多少?

填精确值,可以写成分数,如 1/3。

2
设 X∼B(100,0.5)。用正态近似和连续性修正估计 P(45≤X≤55),保留三位小数。

可以填小数或分数;与标准答案相差不超过 0.0006 即判对。

3
关于独立同分布且方差有限的随机变量,下列哪个说法正确?
第 3 题的答案
4
设 X∼B(1000,0.005)。要近似 X 的分布,下列哪个判断更合适?
第 4 题的答案

讨论

发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com

还没有评论。写下你的理解、疑问,或者指出这一页的错误。

登录后参与讨论