LeoMath
English登录

线性代数基础

内积与 Cauchy–Schwarz

长度与角度从哪里来；投影不会变长这一件事推出整个不等式。

约 6 分钟

从一个问题开始

问题

向量空间的八条公理只谈加法和数乘，没有"长度"，也没有"角度"。可是几何里最基本的问题恰恰是：这个向量有多长？两个向量夹角多大？它们垂直吗？

我们需要给向量空间补上一种结构，让长度和角度都能定义出来，并且在多项式、函数、随机变量这些"不像箭头"的空间里同样成立。

观察

平面上，uu 在 vv 方向上的投影长度是 ∥u∥ ∣cos⁡θ∣\|u\|\,|\cos\theta|。无论 θ\theta 是多少，投影不会比 uu 本身长。这句话看起来太显然，但它就是本节整个不等式的来源。

猜想

只要有一种"乘法" ⟨u,v⟩\langle u,v\rangle 满足几条自然性质，就能定义 ∥u∥=⟨u,u⟩\|u\|=\sqrt{\langle u,u\rangle} 和 cos⁡θ=⟨u,v⟩∥u∥∥v∥\cos\theta=\dfrac{\langle u,v\rangle}{\|u\|\|v\|}。要让后者有意义，必须证明 ∣⟨u,v⟩∣≤∥u∥∥v∥|\langle u,v\rangle|\le\|u\|\|v\|。而"投影不会变长"应该就是证明。

定义

定义 2.1内积

实向量空间 VV 上的内积是映射 ⟨⋅,⋅⟩:V×V→R\langle\cdot,\cdot\rangle:V\times V\to\mathbb R，满足对所有 u,v,w∈Vu,v,w\in V、c∈Rc\in\mathbb R：

  1. 对称：⟨u,v⟩=⟨v,u⟩\langle u,v\rangle=\langle v,u\rangle；
  2. 线性：⟨cu+w,v⟩=c⟨u,v⟩+⟨w,v⟩\langle cu+w,v\rangle=c\langle u,v\rangle+\langle w,v\rangle；
  3. 正定：⟨v,v⟩≥0\langle v,v\rangle\ge0，且等号当且仅当 v=0v=0。

带内积的向量空间称为内积空间。

定义 2.2长度、角度、正交

∥v∥=⟨v,v⟩\|v\|=\sqrt{\langle v,v\rangle} 称为 vv 的长度（范数）。若 ⟨u,v⟩=0\langle u,v\rangle=0，称 u,vu,v 正交。

例 2.1三个内积空间
  • Rn\mathbb R^n：⟨a,b⟩=∑aibi\langle a,b\rangle=\sum a_ib_i（标准内积）。
  • [0,1][0,1] 上的连续函数：⟨f,g⟩=∫01f(x)g(x) dx\langle f,g\rangle=\int_0^1f(x)g(x)\,dx。
  • 有限方差的随机变量：⟨X,Y⟩=E[XY]\langle X,Y\rangle=\mathbb E[XY]。

三条公理逐一验证都成立。第三个例子里 ∥X−EX∥2\|X-\mathbb EX\|^2 就是方差。

定理与证明

定理 2.1Cauchy–Schwarz 不等式

在任何内积空间中， ⟨u,v⟩2≤⟨u,u⟩ ⟨v,v⟩,\langle u,v\rangle^2\le\langle u,u\rangle\,\langle v,v\rangle, 等号成立当且仅当 u,vu,v 线性相关。

证明

若 v=0v=0，两边都是 00。设 v≠0v\ne0，令 t=⟨u,v⟩⟨v,v⟩t=\dfrac{\langle u,v\rangle}{\langle v,v\rangle}（uu 在 vv 方向的投影系数）。"减去投影后剩下的分量长度非负"： 0≤⟨u−tv, u−tv⟩=⟨u,u⟩−2t⟨u,v⟩+t2⟨v,v⟩.0\le\langle u-tv,\ u-tv\rangle=\langle u,u\rangle-2t\langle u,v\rangle+t^2\langle v,v\rangle. 代入 tt，中间两项合并： 0≤⟨u,u⟩−⟨u,v⟩2⟨v,v⟩.0\le\langle u,u\rangle-\frac{\langle u,v\rangle^2}{\langle v,v\rangle}. 乘以 ⟨v,v⟩>0\langle v,v\rangle>0 即得不等式。等号成立当且仅当 u−tv=0u-tv=0（正定性），即 u=tvu=tv；合并 v=0v=0 的情形，就是 u,vu,v 线性相关。

整个证明只用了两件事：长度非负（公理 3）和减去投影（公理 1、2 做展开）。所以它在每一个内积空间里都成立，一字不改。

推论 2.2三角不等式

∥u+v∥≤∥u∥+∥v∥\|u+v\|\le\|u\|+\|v\|。

证明

∥u+v∥2=∥u∥2+2⟨u,v⟩+∥v∥2≤∥u∥2+2∥u∥∥v∥+∥v∥2=(∥u∥+∥v∥)2\|u+v\|^2=\|u\|^2+2\langle u,v\rangle+\|v\|^2\le\|u\|^2+2\|u\|\|v\|+\|v\|^2=(\|u\|+\|v\|)^2。

有了三角不等式，∥⋅∥\|\cdot\| 才配叫"长度"；有了 Cauchy–Schwarz，⟨u,v⟩∥u∥∥v∥∈[−1,1]\dfrac{\langle u,v\rangle}{\|u\|\|v\|}\in[-1,1]，cos⁡θ\cos\theta 才有定义。角度是从内积长出来的，不是反过来。

常见错误

Cauchy–Schwarz 的等号条件是"线性相关"，不是"相等"。u=3vu=3v 时等号成立；u=−vu=-v 时也成立（此时 ⟨u,v⟩<0\langle u,v\rangle<0，平方后仍相等）。另外，公理 3 里"等号当且仅当 v=0v=0"不能少：没有它，⟨v,v⟩\langle v,v\rangle 可能为零而 v≠0v\ne0，投影系数 tt 无定义。

应用

应用同一个不等式的三张面孔

把三个例子代进去：

(∫fg)2≤∫f2∫g2,∣Cov⁡(X,Y)∣≤Var⁡XVar⁡Y.\Bigl(\int fg\Bigr)^2\le\int f^2\int g^2,\qquad |\operatorname{Cov}(X,Y)|\le\sqrt{\operatorname{Var}X}\sqrt{\operatorname{Var}Y}.

第三个说的是相关系数在 [−1,1][-1,1] 内。三个不等式是同一个证明。

应用最小二乘

在子空间 WW 中离 uu 最近的点，是 uu 在 WW 上的正交投影。证明的核心仍是"减去投影后剩下的分量与 WW 正交"。这是线性回归的全部几何。

注

这一节展示了代数的典型做法：不问"内积是什么"，只问"内积满足什么"，然后一个证明覆盖所有情形。下一节线性映射会用同样的态度对待"变换"。

练习

01
求向量 u=(1,2,2)u=(1,2,2) 与 v=(2,−1,2)v=(2,-1,2) 夹角的余弦（保留三位小数）。
02
对实数 a1,…,ana_1,\dots,a_n，Cauchy–Schwarz 不等式给出 (a1+⋯+an)2≤C (a12+⋯+an2)(a_1+\cdots+a_n)^2\le C\,(a_1^2+\cdots+a_n^2)。最小的常数 CC 是？