LeoMath

概率论基础 · 第 4 / 5 节

期望与方差

平均值与波动的精确说法;协方差是一种内积,所以相关系数落在 [−1, 1]。

约 28 分钟

从一个问题开始

问题

用一台仪器测一段距离,读数是真实值加上一个随机误差。误差有正有负,平均起来是 0,但每次读数都会晃动,晃动有一个典型的大小,记作 σ。

为了测得更准,用两台仪器各测一次,取两个读数的平均。平均值的误差比 σ 小多少?如果两台仪器放在同一个房间里,受同样的温度影响,误差总是一起偏大、一起偏小,取平均还有没有用?反过来,如果能让两个误差总是一正一负,又能好到什么程度?

要回答这些问题,先得把两件事说清楚:随机变量的"平均值",和它"晃动的大小"。这就是期望与方差。至于两个误差"一起偏大"的程度,答案会落在一个熟悉的地方:两个向量之间的夹角。

观察

先玩再读。左图的六个点是掷一次骰子的六个结果,概率各 16;第 ω 个点的坐标 (X(ω),Y(ω)) 记下这个结果下两个随机变量的值。叉号标出两个平均值,矩形从叉号连到各个点。右图把 X、Y 各自减去平均值,画成两个向量。

拖动这些点,看 Cov⁡ 和右图的夹角 θ 怎样一起变化。ρ 能不能大于 1? 再按"负相关":σX2+σY2 大约是 6.2,Var⁡(X+Y) 却不到 0.8。右图里哪一根箭头说明了原因?

交互实验相关系数是一个夹角的余弦
  • 结果 ω(概率各 1/6)
  • 均值 (EX, EY)
  • 最佳直线
  • 乘积 > 0
  • 乘积 < 0

散点:每个结果 ω 是一个点 (X(ω), Y(ω))

向量:减去均值后的 X 与 Y

  • X − EX
  • Y − EY
  • 投影
  • 和 (X+Y) − E(X+Y)
EX
−0.17
EY
0.17
σX
2.05
σY
1.18
Cov(X,Y)
1.99
ρ = cos θ
0.82
θ
34.9°
Var(X+Y)
9.58
Cov⁡(X,Y)=E[(X−EX)(Y−EY)]ρ=Cov⁡(X,Y)σXσY=cos⁡θVar⁡(X+Y)=σX2+σY2+2Cov⁡(X,Y)
方向键移动

你观察到了什么?先动手,再回答。想清楚之后再看解释。

  1. 1.按“完全线性”:ρ 和夹角 θ 是多少?再把第 6 个点往下拖,离开直线。ρ 怎么变?无论怎么拖,ρ 能超出 [−1, 1] 吗?
  2. 2.按“不相关却有关系”:这时 Y 完全由 X 决定,Cov 却是 0。左图里正、负面积是怎样抵消的?
  3. 3.按“一个离群点”,记下 ρ;再把第 6 个点拖到 (0, 0)。ρ 变成了多少?为什么一个点能有这么大的影响?
猜想

蓝色矩形算正、红色算负,矩形面积的平均似乎就衡量了 X、Y "一起偏大、一起偏小"的程度;它和右图两个向量的内积看起来是同一个数,而 ρ 像是这两个向量夹角的余弦,所以永远落在 −1 与 1 之间。Var⁡(X+Y) 则像两个向量之和的长度的平方:夹角越接近 180∘,和就越短。

如果这些都对,开头的问题就有了答案:两台仪器误差之间的夹角越大,取平均越准。下面先把"平均值"和"晃动"定义出来,再证明这些猜想。

定义

本节的随机变量都定义在有限或可数的概率空间 (Ω,P) 上,P(ω) 是 P({ω}) 的简写。

定义 4.1期望

设 X 是离散型随机变量。若 ∑x|x|P(X=x)<∞,称

EX=∑xxP(X=x)

为 X 的期望(均值),其中 x 取遍 X 的所有可能值;否则称 X 的期望不存在。

期望是按概率加权的平均值。掷一枚均匀骰子,点数的期望是 1+2+⋯+66=3.5:期望不必是 X 能取到的值。取值有无穷多个时,要求级数绝对收敛,这样怎么分组、按什么次序求和都不影响结果,下面马上要用到这一点。

命题 4.1按样本点求期望

若 EX 存在,则

EX=∑ω∈ΩX(ω)P(ω),

右边绝对收敛。更一般地,对任何函数 g,只要 ∑x|g(x)|P(X=x)<∞,就有 Eg(X)=∑xg(x)P(X=x)。

证明

事件 {X=x} 对不同的 x 两两互斥,并起来是 Ω,由可列可加性 ∑ω:X(ω)=xP(ω)=P(X=x)。先对非负的 |X(ω)|P(ω) 按 X 的取值分组:∑ω|X(ω)|P(ω)=∑x|x|P(X=x)<∞,所以右边绝对收敛。绝对收敛的级数可以任意分组求和:

∑ωX(ω)P(ω)=∑x ∑ω:X(ω)=xxP(ω)=∑xxP(X=x)=EX.

对随机变量 g(X) 用这个公式,再把 ω 按 X 的取值分组,同样的计算给出第二个公式。

例 4.1示性变量

对事件 A,令 𝟏A(ω)=1(若 ω∈A),否则为 0。𝟏A 只取 0 和 1,所以

E𝟏A=0⋅P(Ac)+1⋅P(A)=P(A).

概率是期望的特例。把"数个数"写成示性变量之和,是下面最常用的技巧。

定义 4.2方差与标准差

设 EX2<∞。称

Var⁡X=E[(X−EX)2]

为 X 的方差,σX=Var⁡X 为 X 的标准差。

由 |x|≤1+x22,EX2<∞ 保证 EX 存在,方差因此有意义。方差是"离平均值多远"的平方的平均。用平方而不用 |X−EX|,是因为平方可以展开,展开后能用下面的线性性来计算;也正是平方让它成为一个长度的平方。标准差和 X 的单位相同:误差以毫米计,σ 也以毫米计。开头说的"晃动的典型大小",就是标准差。

定义 4.3协方差与相关系数

设 EX2<∞,EY2<∞。称

Cov⁡(X,Y)=E[(X−EX)(Y−EY)]

为 X 与 Y 的协方差。若 σX>0,σY>0,称

ρ(X,Y)=Cov⁡(X,Y)σXσY

为 X 与 Y 的相关系数。Cov⁡(X,Y)=0 时称 X、Y 不相关。

由 |xy|≤x2+y22,协方差总是存在。Cov⁡(X,X)=Var⁡X。实验左图里,第 ω 个矩形的有向面积正是 (X(ω)−EX)(Y(ω)−EY):点在叉号右上或左下时为正,在左上或右下时为负。由按样本点求期望的公式,Cov⁡(X,Y) 就是这六个有向面积的平均。

定义 4.4随机变量的独立

若对所有 x,y 都有

P(X=x, Y=y)=P(X=x)P(Y=y),

即事件 {X=x} 与 {Y=y} 总是独立,称离散型随机变量 X、Y 相互独立。多个随机变量相互独立,是指对任意一组取值,相应的事件相互独立。

定理与证明

定理 4.2期望的线性性

若 EX、EY 存在,则对任意实数 a,b,E(aX+bY) 存在,且

E(aX+bY)=aEX+bEY.
证明

由 |aX(ω)+bY(ω)|≤|a||X(ω)|+|b||Y(ω)|,∑ω(aX(ω)+bY(ω))P(ω) 绝对收敛。按样本点求期望:

E(aX+bY)=∑ω(aX(ω)+bY(ω))P(ω)=a∑ωX(ω)P(ω)+b∑ωY(ω)P(ω)=aEX+bEY.

线性性不需要独立,X 与 Y 之间有什么关系都无所谓。它是本节最有用的工具,后面的帽子问题会显示它有多省事。

命题 4.3方差的计算
Cov⁡(X,Y)=E(XY)−EX⋅EY,Var⁡X=EX2−(EX)2,Var⁡(aX+b)=a2Var⁡X.
证明

记 μ=EX,ν=EY。展开 (X−μ)(Y−ν)=XY−νX−μY+μν,用线性性(常数的期望是它自己):

Cov⁡(X,Y)=E(XY)−νμ−μν+μν=E(XY)−μν.

取 Y=X 得第二个公式。E(aX+b)=aμ+b,所以 (aX+b)−E(aX+b)=a(X−μ),平方后取期望得 a2Var⁡X。

整体平移不改变方差,因为平移不是晃动;放大 a 倍,方差变成 a2 倍,标准差变成 |a| 倍。

命题 4.4独立时乘积的期望可以拆开

若 X、Y 相互独立,且 EX、EY 存在,则 E(XY)=EX⋅EY。因此独立且方差有限的随机变量不相关。

证明

对数对 (X,Y) 用按样本点求期望的公式,按 (X,Y) 的取值分组,再用独立性:

E(XY)=∑x,yxyP(X=x,Y=y)=∑x,yxyP(X=x)P(Y=y)=(∑xxP(X=x))(∑yyP(Y=y)).

把 xy 换成 |xy|,同样的计算得到 E|X|⋅E|Y|<∞,所以这个双重级数绝对收敛,上面的分组和拆分都成立。

下面是本节的核心:协方差是一种内积。

定理 4.5协方差是内积,相关系数在 −1 与 1 之间

在 EX2<∞ 的随机变量之间,⟨X,Y⟩=E(XY) 对称、双线性,且 ⟨X,X⟩≥0,等号当且仅当 P(X=0)=1。协方差就是减去均值后的内积:Cov⁡(X,Y)=⟨X−EX, Y−EY⟩。因此

|Cov⁡(X,Y)|≤σXσY,−1≤ρ(X,Y)≤1.

|ρ|=1 当且仅当存在常数 a≠0 与 b,使 P(Y=aX+b)=1;这时 ρ 与 a 同号。

证明

对称是显然的,双线性来自期望的线性性。EX2=∑xx2P(X=x)≥0,等于 0 当且仅当每个 x≠0 都有 P(X=x)=0,即 P(X=0)=1。

记 X~=X−EX,Y~=Y−EY,则 EX~2=σX2,EY~2=σY2,E(X~Y~)=Cov⁡(X,Y)。下面重走内积一节里 Cauchy–Schwarz 的证明:从 Y~ 中减去它在 X~ 方向上的投影,剩下的部分长度非负。对任意实数 t,

0≤E[(Y~−tX~)2]=σY2−2tCov⁡(X,Y)+t2σX2.

若 σX=0,右边是 t 的一次函数,对所有 t 都非负只能是 Cov⁡(X,Y)=0,不等式成立。若 σX>0,取投影系数 t=Cov⁡(X,Y)/σX2,得

0≤σY2−Cov⁡(X,Y)2σX2,

即 Cov⁡(X,Y)2≤σX2σY2;两边除以 σXσY 得 |ρ|≤1。

|ρ|=1 当且仅当上式取等,即 E[(Y~−tX~)2]=0,也就是 P(Y~=tX~)=1:以概率 1 有 Y=tX+(EY−tEX)。这时 Cov⁡(X,Y)≠0,所以 a=t≠0,且与 Cov⁡、ρ 同号。反过来,若 P(Y=aX+b)=1,则 Y~=aX~ 以概率 1 成立,Cov⁡(X,Y)=aσX2,σY=|a|σX,所以 ρ=a/|a|=±1。

于是 ρ=cos⁡θ 有了意义:θ 是 X~ 与 Y~ 这两个"向量"之间的夹角,实验右图画的正是它们张成的那个平面。投影系数 t=Cov⁡(X,Y)/σX2 也出现在左图里:它是那条直线的斜率,后面的应用会说明它为什么是"最佳"的。

注

严格地说,E(XY) 只满足内积公理的"一半":⟨X,X⟩=0 只能推出 P(X=0)=1,推不出 X 处处为 0,比如 X 可以在一个概率为 0 的样本点上取非零值。把以概率 1 相等的随机变量看成同一个,它就是真正的内积。上面的不等式只用到 ⟨X,X⟩≥0 这一半,所以不受影响;取等条件也只能说到"以概率 1"为止。

定理 4.6和的方差:余弦定理
Var⁡(X+Y)=Var⁡X+Var⁡Y+2Cov⁡(X,Y).

若 X1,…,Xn 两两不相关(例如相互独立),则

Var⁡(X1+⋯+Xn)=Var⁡X1+⋯+Var⁡Xn.
证明

(X+Y)−E(X+Y)=X~+Y~,由双线性

E[(X~+Y~)2]=EX~2+2E(X~Y~)+EY~2.

一般地,Var⁡(∑iXi)=E[(∑iX~i)2]=∑i,jCov⁡(Xi,Xj),不相关时 i≠j 的项全为 0,剩下 ∑iVar⁡Xi。

写成 σX+Y2=σX2+σY2+2σXσYcos⁡θ,这就是平行四边形对角线的余弦定理,实验右图里的和向量就是这条对角线。不相关时 θ=90∘,它变成勾股定理:独立误差的方差相加,标准差不相加。θ 接近 180∘ 时两个向量几乎抵消,"负相关"预设里 Var⁡(X+Y) 只剩不到 0.8,原因就在这里。

定理 4.7Chebyshev 不等式与大数定律

设 Var⁡X<∞,则对每个 ε>0,

P(|X−EX|≥ε)≤Var⁡Xε2.

若 X1,…,Xn 相互独立,期望都是 μ,方差都是 σ2,记 X‾n=1n(X1+⋯+Xn),则 EX‾n=μ,Var⁡X‾n=σ2n,并且对每个 ε>0,

P(|X‾n−μ|≥ε)≤σ2nε2 ⟶ 0(n→∞).
证明

令 A={|X−EX|≥ε}。对每个 ω,若 ω∈A,则 (X(ω)−EX)2≥ε2=ε2𝟏A(ω);若 ω∉A,右边是 0,不等式也成立。所以随机变量 (X−EX)2−ε2𝟏A 处处非负,它的期望非负,由线性性和 E𝟏A=P(A),

Var⁡X−ε2P(A)≥0.

对 X‾n:由线性性 EX‾n=1n⋅nμ=μ;由 Var⁡(aX)=a2Var⁡X 和独立变量的方差可加,Var⁡X‾n=1n2⋅nσ2=σ2n。对 X‾n 用 Chebyshev 不等式即得。

后半部分称为弱大数定律:独立重复地测量、取平均,平均值偏离期望超过任何固定 ε 的概率都趋于 0。它说明了"期望"这个词的来历:期望是大量重复之后平均值的去处。平均值的标准差是 σ/n,不是 σ/n:想把误差减半,要测 4 次;想减到十分之一,要测 100 次。

常见错误

不相关不等于独立。 设 X 等可能地取 −1,0,1,Y=X2。EX=0,E(XY)=EX3=0,所以 Cov⁡(X,Y)=0。可是 Y 完全由 X 决定:P(X=0,Y=0)=13,而 P(X=0)P(Y=0)=19。实验里的"不相关却有关系"是同一回事:左右对称的点让正负面积两两抵消。协方差只衡量线性关系,独立推出不相关,反过来不成立。

常见错误

方差不是线性的。 对独立的 X、Y,Var⁡(X−Y)=Var⁡X+Var⁡Y,是加号不是减号:−Y 的方差是 (−1)2Var⁡Y。两个误差相减,晃动只会叠加。同样,Var⁡(2X)=4Var⁡X,而两个独立同分布的 X1+X2 只有 2Var⁡X:把一次测量结果乘以 2,和把两次独立测量相加,是完全不同的两件事。

常见错误

Eg(X) 一般不等于 g(EX),期望也可能不存在。 由 Var⁡X=EX2−(EX)2≥0,总有 EX2≥(EX)2,等号只在方差为 0 时成立;E(1/X) 与 1/EX 一般也不相等。至于存在性:若 P(X=2k)=2−k(k=1,2,…),则 ∑k2k⋅2−k=1+1+⋯ 发散,X 没有期望。这时谈不上方差、协方差,本节的定理都用不上。

应用

应用回到开头:两台仪器

两台仪器的误差 X、Y 满足 EX=EY=0,σX=σY=σ,相关系数为 ρ。由和的方差公式,

Var⁡X+Y2=σ2+σ2+2ρσ24=1+ρ2σ2.

误差独立(ρ=0)时,平均值的标准差是 σ/2≈0.71σ;同一个房间里 ρ=0.9 时,是 σ0.95≈0.97σ,几乎没有改善;ρ=1 时毫无用处;ρ=−1 时误差完全抵消。ρ 不可能小于 −1,正是 Cauchy–Schwarz 不等式。

用 n 台仪器、两两相关系数都是 ρ 时,同样展开:

Var⁡X‾n=1n2(nσ2+n(n−1)ρσ2)=σ2(ρ+1−ρn).

n→∞ 时它趋于 ρσ2,而不是 0。所有仪器共有的那部分误差,再怎么平均也去不掉,只有独立的那部分会按 1/n 消失。

应用二项分布与 Poisson 分布的期望和方差

设 X∼B(n,p)。记 Ai 为"第 i 次成功",则 X=𝟏A1+⋯+𝟏An。每个 𝟏Ai 的期望是 p;因为 𝟏Ai2=𝟏Ai,方差是 p−p2=p(1−p)。由线性性和独立变量的方差可加,

EX=np,Var⁡X=np(1−p),

一个二项式求和都不用算。

设 Y∼Poisson(λ)。去掉 k=0 这一项,再令 j=k−1:

EY=∑k≥1ke−λλkk!=λ∑j≥0e−λλjj!=λ.

同理 E[Y(Y−1)]=λ2,所以 Var⁡Y=E[Y(Y−1)]+EY−(EY)2=λ。这兑现了随机变量与分布一节的说法:B(n,p) 与 Poisson(np) 的方差只差一个因子 1−p,所以 p 小时两者才接近。

应用帽子问题:不独立也能用线性性

n≥2 个人把帽子放在一起,再随机各拿一顶,n! 种拿法等可能。拿回自己帽子的人数 N 平均是多少?记 Ai 为"第 i 个人拿回自己的帽子",P(Ai)=(n−1)!n!=1n。N=∑i𝟏Ai,由线性性

EN=n⋅1n=1,

与 n 无关。这些事件并不独立(前 n−1 个人都拿对了,最后一个人一定拿对),但线性性不需要独立。

方差也能算:P(Ai∩Aj)=(n−2)!n!=1n(n−1),所以 i≠j 时 Cov⁡(𝟏Ai,𝟏Aj)=1n(n−1)−1n2=1n2(n−1),

Var⁡N=n⋅1n(1−1n)+n(n−1)⋅1n2(n−1)=1.

期望和方差都是 1,正好是 Poisson(1) 的期望和方差。上一节说的"许多几乎独立的稀有事件"又出现了:事实上 n→∞ 时,P(N=k)→e−1/k!。

应用用 X 预测 Y:最佳直线

要找常数 α,β,使平方误差的期望 E[(Y−α−βX)2] 最小。把 Y−α−βX 写成 (Y~−βX~)+c,其中 c=EY−α−βEX 是常数。因为 EX~=EY~=0,交叉项的期望是 0:

E[(Y−α−βX)2]=E[(Y~−βX~)2]+c2=σY2−2βCov⁡(X,Y)+β2σX2+c2.

取 α=EY−βEX 使 c=0,再对 β 求最小值(设 σX>0),得

β=Cov⁡(X,Y)σX2,min⁡E[(Y−α−βX)2]=σY2(1−ρ2).

β 正是 Y~ 在 X~ 方向上的投影系数,最小误差是剩下那部分长度的平方。这就是实验左图里那条直线 y=EY+β(x−EX)。ρ2 可以读作"Y 的方差里能被 X 线性解释的比例":ρ=±1 时全部能解释,ρ=0 时最好的直线是水平线 y=EY,X 毫无帮助。

用函数绘图器试一试 →

在绘图器里画 r+(1−r)/x,把参数 r 拖到 0.2 附近:这是 n 台两两相关系数为 r 的仪器取平均后的方差(以 σ2 为单位)。x 从 1 增大时曲线先陡降,然后贴着水平线 y=r 停下来;r=0 时它就是 1/x,一直降到 0。

注

大数定律说平均值 X‾n 会靠近 μ,偏差的尺度是 σ/n。可是 Chebyshev 不等式只给出了偏差的一个上界,没有说出偏差的分布长什么样。把偏差放大 n 倍再看,它会趋于一条钟形曲线,而且不管 Xi 原来服从什么分布都是如此。这是下一节中心极限定理(建设中)的主题。

练习

已完成 0 / 4

1
掷两枚均匀骰子,点数之和的方差是多少?(保留三位小数,也可以填分数)

可以填小数或分数;与标准答案相差不超过 0.0006 即判对。

2
两台仪器的误差期望都是 0,标准差都是 2 mm,相关系数是 0.5。两个读数取平均,平均值误差的标准差是多少 mm?(保留三位小数)

可以填小数或分数;与标准答案相差不超过 0.0006 即判对。

3
X 等可能地取 −1,0,1,Y=X2。下列说法哪个正确?
第 3 题的答案
4
10 个人把帽子放在一起,再随机各拿一顶。拿回自己帽子的人数,期望是多少?
第 4 题的答案

讨论

发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com

还没有评论。写下你的理解、疑问,或者指出这一页的错误。

登录后参与讨论