概率论基础 · 第 4 / 5 节
期望与方差
平均值与波动的精确说法;协方差是一种内积,所以相关系数落在 [−1, 1]。
约 28 分钟
从一个问题开始
用一台仪器测一段距离,读数是真实值加上一个随机误差。误差有正有负,平均起来是 ,但每次读数都会晃动,晃动有一个典型的大小,记作 。
为了测得更准,用两台仪器各测一次,取两个读数的平均。平均值的误差比 小多少?如果两台仪器放在同一个房间里,受同样的温度影响,误差总是一起偏大、一起偏小,取平均还有没有用?反过来,如果能让两个误差总是一正一负,又能好到什么程度?
要回答这些问题,先得把两件事说清楚:随机变量的"平均值",和它"晃动的大小"。这就是期望与方差。至于两个误差"一起偏大"的程度,答案会落在一个熟悉的地方:两个向量之间的夹角。
先玩再读。左图的六个点是掷一次骰子的六个结果,概率各 ;第 个点的坐标 记下这个结果下两个随机变量的值。叉号标出两个平均值,矩形从叉号连到各个点。右图把 、 各自减去平均值,画成两个向量。
拖动这些点,看 和右图的夹角 怎样一起变化。 能不能大于 ? 再按"负相关": 大约是 , 却不到 。右图里哪一根箭头说明了原因?
- 结果 ω(概率各 1/6)
- 均值 (EX, EY)
- 最佳直线
- 乘积 > 0
- 乘积 < 0
散点:每个结果 ω 是一个点 (X(ω), Y(ω))
向量:减去均值后的 X 与 Y
- X − EX
- Y − EY
- 投影
- 和 (X+Y) − E(X+Y)
- EX
- −0.17
- EY
- 0.17
- σX
- 2.05
- σY
- 1.18
- Cov(X,Y)
- 1.99
- ρ = cos θ
- 0.82
- θ
- 34.9°
- Var(X+Y)
- 9.58
你观察到了什么?先动手,再回答。想清楚之后再看解释。
- 1.按“完全线性”:ρ 和夹角 θ 是多少?再把第 6 个点往下拖,离开直线。ρ 怎么变?无论怎么拖,ρ 能超出 [−1, 1] 吗?
- 2.按“不相关却有关系”:这时 Y 完全由 X 决定,Cov 却是 0。左图里正、负面积是怎样抵消的?
- 3.按“一个离群点”,记下 ρ;再把第 6 个点拖到 (0, 0)。ρ 变成了多少?为什么一个点能有这么大的影响?
蓝色矩形算正、红色算负,矩形面积的平均似乎就衡量了 、 "一起偏大、一起偏小"的程度;它和右图两个向量的内积看起来是同一个数,而 像是这两个向量夹角的余弦,所以永远落在 与 之间。 则像两个向量之和的长度的平方:夹角越接近 ,和就越短。
如果这些都对,开头的问题就有了答案:两台仪器误差之间的夹角越大,取平均越准。下面先把"平均值"和"晃动"定义出来,再证明这些猜想。
定义
本节的随机变量都定义在有限或可数的概率空间 上, 是 的简写。
设 是离散型随机变量。若
为 的期望(均值),其中 取遍 的所有可能值;否则称 的期望不存在。
期望是按概率加权的平均值。掷一枚均匀骰子,点数的期望是 :期望不必是 能取到的值。取值有无穷多个时,要求级数绝对收敛,这样怎么分组、按什么次序求和都不影响结果,下面马上要用到这一点。
若 存在,则
右边绝对收敛。更一般地,对任何函数 ,只要
事件 对不同的 两两互斥,并起来是 ,由可列可加性
对随机变量 用这个公式,再把 按 的取值分组,同样的计算给出第二个公式。
对事件 ,令 (若 ),否则为 。 只取 和 ,所以
概率是期望的特例。把"数个数"写成示性变量之和,是下面最常用的技巧。
设 。称
为 的方差,
由 , 保证 存在,方差因此有意义。方差是"离平均值多远"的平方的平均。用平方而不用 ,是因为平方可以展开,展开后能用下面的线性性来计算;也正是平方让它成为一个长度的平方。标准差和 的单位相同:误差以毫米计, 也以毫米计。开头说的"晃动的典型大小",就是标准差。
设 ,。称
为 与 的协方差。若 ,,称
为 与 的相关系数。
由 ,协方差总是存在。
定理与证明
若 、 存在,则对任意实数 , 存在,且
由
线性性不需要独立, 与 之间有什么关系都无所谓。它是本节最有用的工具,后面的帽子问题会显示它有多省事。
记 ,。展开
取 得第二个公式。,所以 ,平方后取期望得 。
整体平移不改变方差,因为平移不是晃动;放大 倍,方差变成 倍,标准差变成 倍。
若 、 相互独立,且 、 存在,则 。因此独立且方差有限的随机变量不相关。
对数对 用按样本点求期望的公式,按 的取值分组,再用独立性:
把 换成 ,同样的计算得到 ,所以这个双重级数绝对收敛,上面的分组和拆分都成立。
下面是本节的核心:协方差是一种内积。
在 的随机变量之间, 对称、双线性,且 ,等号当且仅当 。协方差就是减去均值后的内积:
当且仅当存在常数 与 ,使 ;这时 与 同号。
对称是显然的,双线性来自期望的线性性。
记 ,,则 ,,
若 ,右边是 的一次函数,对所有 都非负只能是
即
当且仅当上式取等,即
于是 有了意义: 是 与 这两个"向量"之间的夹角,实验右图画的正是它们张成的那个平面。投影系数
严格地说, 只满足内积公理的"一半": 只能推出 ,推不出 处处为 ,比如 可以在一个概率为 的样本点上取非零值。把以概率 相等的随机变量看成同一个,它就是真正的内积。上面的不等式只用到 这一半,所以不受影响;取等条件也只能说到"以概率 "为止。
若 两两不相关(例如相互独立),则
一般地,
写成
设
若 相互独立,期望都是 ,方差都是 ,记
令
对 :由线性性
后半部分称为弱大数定律:独立重复地测量、取平均,平均值偏离期望超过任何固定 的概率都趋于 。它说明了"期望"这个词的来历:期望是大量重复之后平均值的去处。平均值的标准差是 ,不是 :想把误差减半,要测 次;想减到十分之一,要测 次。
不相关不等于独立。 设 等可能地取 ,。,,所以
方差不是线性的。 对独立的 、,
一般不等于 ,期望也可能不存在。 由
应用
两台仪器的误差 、 满足 ,
误差独立()时,平均值的标准差是
用 台仪器、两两相关系数都是 时,同样展开:
时它趋于 ,而不是 。所有仪器共有的那部分误差,再怎么平均也去不掉,只有独立的那部分会按 消失。
设 。记 为"第 次成功",则
一个二项式求和都不用算。
设
同理
个人把帽子放在一起,再随机各拿一顶, 种拿法等可能。拿回自己帽子的人数 平均是多少?记 为"第 个人拿回自己的帽子",
与 无关。这些事件并不独立(前 个人都拿对了,最后一个人一定拿对),但线性性不需要独立。
方差也能算:
期望和方差都是 ,正好是 的期望和方差。上一节说的"许多几乎独立的稀有事件"又出现了:事实上 时,。
要找常数 ,使平方误差的期望 最小。把 写成
取 使 ,再对 求最小值(设 ),得
正是 在 方向上的投影系数,最小误差是剩下那部分长度的平方。这就是实验左图里那条直线 。 可以读作" 的方差里能被 线性解释的比例": 时全部能解释, 时最好的直线是水平线 , 毫无帮助。
在绘图器里画 ,把参数 拖到 附近:这是 台两两相关系数为 的仪器取平均后的方差(以 为单位)。 从 增大时曲线先陡降,然后贴着水平线 停下来; 时它就是 ,一直降到 。
大数定律说平均值 会靠近 ,偏差的尺度是 。可是 Chebyshev 不等式只给出了偏差的一个上界,没有说出偏差的分布长什么样。把偏差放大 倍再看,它会趋于一条钟形曲线,而且不管 原来服从什么分布都是如此。这是下一节中心极限定理(建设中)的主题。
练习
已完成 0 / 4
✓ 这一节的练习全部完成。
下一节:中心极限定理 →
讨论
发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com
还没有评论。写下你的理解、疑问,或者指出这一页的错误。
登录后参与讨论