LeoMath

线性代数基础 · 第 2 / 5 节

内积与 Cauchy–Schwarz

长度与角度从哪里来;投影不会变长这一件事推出整个不等式。

约 7 分钟

从一个问题开始

问题

向量空间的八条公理只谈加法和数乘,没有"长度",也没有"角度"。可是几何里最基本的问题恰恰是:这个向量有多长?两个向量夹角多大?它们垂直吗?

我们需要给向量空间补上一种结构,让长度和角度都能定义出来,并且在多项式、函数、随机变量这些"不像箭头"的空间里同样成立。

观察

平面上,u 在 v 方向上的投影长度是 ‖u‖|cos⁡θ|。无论 θ 是多少,投影不会比 u 本身长。这句话看起来太显然,但它就是本节整个不等式的来源。

在下面拖动 u 和 v。蓝色箭头是 u 在 v 所在直线上的投影,红色虚线是剩下的部分。|⟨u,v⟩| 那根条什么时候能碰到 ‖u‖‖v‖?两根条之间的差距和红色虚线有什么关系?

交互实验投影与 Cauchy–Schwarz 的差额
  • u
  • v
  • 投影 tv
  • 剩下的 u − tv
  • 单位“圆” ‖x‖ = 1
|⟨u,v⟩|5.5
‖u‖‖v‖8.51
⟨u,v⟩ 5.5cos θ 0.646投影系数 t 0.55差额 42.25
⟨u,v⟩2≤‖u‖2‖v‖2‖u‖2‖v‖2−⟨u,v⟩2=‖v‖2‖u−tv‖2
内积
方向键移动

你观察到了什么?先动手,再回答。想清楚之后再看解释。

  1. 1.拖着 u 绕原点转一圈。|⟨u,v⟩| 那根条什么时候和 ‖u‖‖v‖ 一样长?这时 u 与 v 是什么关系?
  2. 2.把 u 从 v 所在的直线上往外拉。“差额”和红色虚线 u − tv 的长度有什么关系?
  3. 3.切换到加权内积 2u₁v₁ + u₂v₂,按“加权下正交”。u 和 v 看上去并不垂直,内积却是 0。单位圆变成了什么?不等式还成立吗?
猜想

只要有一种"乘法" ⟨u,v⟩ 满足几条自然性质,就能定义 ‖u‖=⟨u,u⟩ 和 cos⁡θ=⟨u,v⟩‖u‖‖v‖。要让后者有意义,必须证明 |⟨u,v⟩|≤‖u‖‖v‖。而"投影不会变长"应该就是证明。

定义

定义 2.1内积

实向量空间 V 上的内积是映射 ⟨⋅,⋅⟩:V×V→ℝ,满足对所有 u,v,w∈V、c∈ℝ:

  1. 对称:⟨u,v⟩=⟨v,u⟩;
  2. 线性:⟨cu+w,v⟩=c⟨u,v⟩+⟨w,v⟩;
  3. 正定:⟨v,v⟩≥0,且等号当且仅当 v=0。

带内积的向量空间称为内积空间。

定义 2.2长度、角度、正交

‖v‖=⟨v,v⟩ 称为 v 的长度(范数)。若 ⟨u,v⟩=0,称 u,v 正交。

例 2.1三个内积空间
  • ℝn:⟨a,b⟩=∑aibi(标准内积)。
  • [0,1] 上的连续函数:⟨f,g⟩=∫01f(x)g(x)dx。
  • 有限方差的随机变量:⟨X,Y⟩=𝔼[XY]。

三条公理逐一验证都成立。就连 ℝ2 上的内积也不止一种:⟨u,v⟩=2u1v1+u2v2 同样是内积(实验里可以切换),它有自己的长度和直角。第三个例子里 ‖X−𝔼X‖2 就是方差。

定理与证明

定理 2.1Cauchy–Schwarz 不等式

在任何内积空间中,

⟨u,v⟩2≤⟨u,u⟩⟨v,v⟩,

等号成立当且仅当 u,v 线性相关。

证明

若 v=0,两边都是 0。设 v≠0,令 t=⟨u,v⟩⟨v,v⟩(u 在 v 方向的投影系数)。"减去投影后剩下的分量长度非负":

0≤⟨u−tv, u−tv⟩=⟨u,u⟩−2t⟨u,v⟩+t2⟨v,v⟩.

代入 t,中间两项合并:

0≤⟨u,u⟩−⟨u,v⟩2⟨v,v⟩.

乘以 ⟨v,v⟩>0 即得不等式。等号成立当且仅当 u−tv=0(正定性),即 u=tv;合并 v=0 的情形,就是 u,v 线性相关。

整个证明只用了两件事:长度非负(公理 3)和减去投影(公理 1、2 做展开)。所以它在每一个内积空间里都成立,一字不改。

把证明的第一行乘以 ⟨v,v⟩,还能精确地说出不等式"差了多少":

‖u‖2‖v‖2−⟨u,v⟩2=‖v‖2‖u−tv‖2.

这就是实验里的"差额":两根条之间的差距由红色虚线(剩下的部分)的长度决定,剩下的部分为零时,差距恰好消失。

推论 2.2三角不等式

‖u+v‖≤‖u‖+‖v‖。

证明

‖u+v‖2=‖u‖2+2⟨u,v⟩+‖v‖2≤‖u‖2+2‖u‖‖v‖+‖v‖2=(‖u‖+‖v‖)2。

有了三角不等式,‖⋅‖ 才配叫"长度";有了 Cauchy–Schwarz,⟨u,v⟩‖u‖‖v‖∈[−1,1],cos⁡θ 才有定义。角度是从内积长出来的,不是反过来。

常见错误

Cauchy–Schwarz 的等号条件是"线性相关",不是"相等"。u=3v 时等号成立;u=−v 时也成立(此时 ⟨u,v⟩<0,平方后仍相等)。另外,公理 3 里"等号当且仅当 v=0"不能少:没有它,⟨v,v⟩ 可能为零而 v≠0,投影系数 t 无定义。

应用

应用同一个不等式的三张面孔

把三个例子代进去:

(∫fg)2≤∫f2∫g2,|Cov⁡(X,Y)|≤Var⁡XVar⁡Y.

第三个说的是相关系数在 [−1,1] 内。三个不等式是同一个证明。

应用最小二乘

在子空间 W 中离 u 最近的点,是 u 在 W 上的正交投影。证明的核心仍是"减去投影后剩下的分量与 W 正交"。这是线性回归的全部几何。

注

这一节展示了代数的典型做法:不问"内积是什么",只问"内积满足什么",然后一个证明覆盖所有情形。下一节线性映射会用同样的态度对待"变换"。

练习

已完成 0 / 2

1
求向量 u=(1,2,2) 与 v=(2,−1,2) 夹角的余弦(保留三位小数)。

可以填小数或分数;与标准答案相差不超过 0.0006 即判对。

2
对实数 a1,…,an,Cauchy–Schwarz 不等式给出 (a1+⋯+an)2≤C(a12+⋯+an2)。最小的常数 C 是?
第 2 题的答案

讨论

发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com

还没有评论。写下你的理解、疑问,或者指出这一页的错误。

登录后参与讨论