线性代数基础 · 第 2 / 5 节
内积与 Cauchy–Schwarz
长度与角度从哪里来;投影不会变长这一件事推出整个不等式。
约 7 分钟
从一个问题开始
向量空间的八条公理只谈加法和数乘,没有"长度",也没有"角度"。可是几何里最基本的问题恰恰是:这个向量有多长?两个向量夹角多大?它们垂直吗?
我们需要给向量空间补上一种结构,让长度和角度都能定义出来,并且在多项式、函数、随机变量这些"不像箭头"的空间里同样成立。
平面上, 在 方向上的投影长度是 。无论 是多少,投影不会比 本身长。这句话看起来太显然,但它就是本节整个不等式的来源。
在下面拖动 和 。蓝色箭头是 在 所在直线上的投影,红色虚线是剩下的部分。 那根条什么时候能碰到 ?两根条之间的差距和红色虚线有什么关系?
- u
- v
- 投影 tv
- 剩下的 u − tv
- 单位“圆” ‖x‖ = 1
你观察到了什么?先动手,再回答。想清楚之后再看解释。
- 1.拖着 u 绕原点转一圈。|⟨u,v⟩| 那根条什么时候和 ‖u‖‖v‖ 一样长?这时 u 与 v 是什么关系?
- 2.把 u 从 v 所在的直线上往外拉。“差额”和红色虚线 u − tv 的长度有什么关系?
- 3.切换到加权内积 2u₁v₁ + u₂v₂,按“加权下正交”。u 和 v 看上去并不垂直,内积却是 0。单位圆变成了什么?不等式还成立吗?
只要有一种"乘法" 满足几条自然性质,就能定义
定义
实向量空间 上的内积是映射
- 对称:
; - 线性:
; - 正定:,且等号当且仅当 。
带内积的向量空间称为内积空间。
- :
(标准内积)。 - 上的连续函数:
。 - 有限方差的随机变量:
。
三条公理逐一验证都成立。就连 上的内积也不止一种:
定理与证明
在任何内积空间中,
等号成立当且仅当 线性相关。
若 ,两边都是 。设 ,令
代入 ,中间两项合并:
乘以 即得不等式。等号成立当且仅当 (正定性),即 ;合并 的情形,就是 线性相关。
整个证明只用了两件事:长度非负(公理 3)和减去投影(公理 1、2 做展开)。所以它在每一个内积空间里都成立,一字不改。
把证明的第一行乘以 ,还能精确地说出不等式"差了多少":
这就是实验里的"差额":两根条之间的差距由红色虚线(剩下的部分)的长度决定,剩下的部分为零时,差距恰好消失。
。
有了三角不等式, 才配叫"长度";有了 Cauchy–Schwarz,
Cauchy–Schwarz 的等号条件是"线性相关",不是"相等"。 时等号成立; 时也成立(此时 ,平方后仍相等)。另外,公理 3 里"等号当且仅当 "不能少:没有它, 可能为零而 ,投影系数 无定义。
应用
把三个例子代进去:
第三个说的是相关系数在 内。三个不等式是同一个证明。
在子空间 中离 最近的点,是 在 上的正交投影。证明的核心仍是"减去投影后剩下的分量与 正交"。这是线性回归的全部几何。
这一节展示了代数的典型做法:不问"内积是什么",只问"内积满足什么",然后一个证明覆盖所有情形。下一节线性映射会用同样的态度对待"变换"。
讨论
发现错误、有疑问或建议,也可以直接写信到 620026600@qq.com
还没有评论。写下你的理解、疑问,或者指出这一页的错误。
登录后参与讨论