特征值与对角化
前六章把矩阵拆成了四个子空间和几个维数. 这一章问一个更细的问题:这个变换有没有"顺纹"——那些被作用之后方向纹丝不动、只是被拉伸(或压扁)的向量?
如果有,而且这样的方向足够多,就能把它们当成新基;在这组基下,矩阵变成对角阵. 这正是第 3 章换基公式 埋下的伏笔,现在兑现.
高中那点工具,够用到哪里
高中没有"特征值"这个词,但你有它的最小版本,而且选必二里到处都是:
- 选必二 4.3 等比数列:——每一步都乘同一个数 . 这就是一维的"特征值 ":每个非零数都是特征向量.
- 选必二 4.1 阅读与思考"斐波那契数列":,教材用它展示递推的丰富性,但没给通项公式——这一章会给你工具把它算出来.
- 选必二 4.2 的待定系数法: 时,高中做法是"构造等比数列":解不动点 ,令 ,则 . 用本章语言:平移把"带尾巴的递推"变成"纯伸缩",伸缩率 就是特征值.
斐波那契的预告. 把递推写成矩阵:
算这个矩阵的特征值,会得到黄金比 和 ——本章的对角化就能把斐波那契的通项公式写出来. 高中阅读材料里的悬念,这一章给答案.
定义:特征值与特征向量
定义(特征值与特征向量) 设 是 方阵. 若存在非零向量 和实数 ,使
就称 是 的特征值, 是 对应的特征向量. 固定 ,所有满足 的向量(补上零向量)构成一个子空间
叫 的特征空间.
人话版:普通向量被 作用后会转向,特征向量不转向,只是被拉长()、压短()、压成零()或反向().
例子(四个一次性看完).
- 对角阵 :两个坐标轴方向都是特征方向, 与 .
- 投影 : 轴方向 (不动), 轴方向 (被压成零)——注意 的特征空间就是零空间 ,第 6 章的老朋友.
- 剪切 :只有 一个特征方向(),其他向量全被推斜.
- 旋转 ,:任何非零向量都被转走,没有实特征向量——它在实数域里没有"顺纹".
几何直觉. 特征方向是变换的"骨架": 对整张平面的作用,可以看成沿这些特殊方向各自伸缩. 有 个独立方向可伸缩,变换就是"沿着若干把尺子拉";一个都没有(如旋转),就说明它本质上是"转",而不是"拉".
例题(教材风格). 已知数列 满足 ,,求通项公式.
解(高中). 待定系数:设 ,展开得 ,即 . 于是 是首项 、公比 的等比数列:
线代读法. 递推 是"带尾巴的伸缩":伸缩率 ,外加平移 . 高中构造的 正是这个映射的不动点( 的解 )的相反数;令 之后,递推变成纯伸缩 . 平移把仿射递推化成线性递推,留下的伸缩率 就是它的特征值——这是一维版的特征值理论;本章把它推广到一整个空间.
怎么求:特征方程
且 ,移项得 :这是在问" 有没有非零零空间",也就是它奇不奇异. 由第 5、6 章:
定义(特征多项式) 是 的 次多项式,叫 的特征多项式;特征值就是它的实根.
手算一个 . 取 :
特征值 和 . 再代回去求特征向量: 时 ,零空间方向是 ; 时零空间方向是 . 两个方向互相垂直——这不是巧合,对称矩阵总是这样.
特征值的几条性质
迹与行列式. (按重数计)等于对角线之和,叫迹,记 ;. 拿上面的例子验证:,——特征值把"迹"和"行列式"这两个分散的读数统一了起来.
理由可以看特征多项式的两种写法(折叠).
为什么 trace 是特征值之和
展开后是 (中间项不展开);另一方面 展开, 的系数是 ,常数项是 . 比较系数即得.
的含义. ,所以
第 6 章结尾那句话现在有了正式身份:矩阵把某些方向压成零,那些方向就是 的特征空间.
换基不变. 相似矩阵(,第 3 章)的特征多项式相同:
所以特征值是变换自己的性质,与拿哪组基记账无关;能变的只是"特征向量长什么样".
重数:代数与几何
上面的对称例子是互异特征值,剪切例子是重根. 重根本身不决定命运——要看"重"是哪种重法. 特征值有两种重数:
定义(代数重数) 若特征多项式 ,其中 ,就称 的代数重数是 ——这是多项式(一维问题)告诉你的重数. 所有特征值的代数重数之和恒等于 .
定义(几何重数) 特征空间的维数 叫 的几何重数(最后一步用第 6 章的秩--零化度)——这是真正数得清的特征方向个数,至少是 .
几何直觉. 重数描述的是"方向撞车". 把剪切 右下角的 改成 :特征值立刻分裂成 和 ,后者对应的方向是 . 把 慢慢改回 ,两条特征方向就撞在 轴上——代数重数 记的是"撞车前有几条",几何重数 是"撞车后还站着几条". 被"推斜"吞掉的方向,任何坐标轴都接不住,所以矩阵对不齐、无法对角化.
定理 对任意特征值,几何重数 代数重数.
证明(几何重数 ≤ 代数重数)
取 的一组基 ( 为几何重数),扩充成整个空间的一组基. 由于 , 在这组基下的矩阵是分块上三角的
用 记多项式变量(免得和特征值 撞名),分块三角阵的行列式等于对角块行列式之积(第 5 章):
于是 作为根至少出现 次,代数重数 .
把账一算就明白它为什么重要:代数重数之和恒为 ,几何重数之和 = 能凑出的独立特征方向总数,所以后者永远不超过前者. 什么时候恰好凑满 个方向?这就是下一节的判据.
对角化:把矩阵变成对角阵
定义(可对角化) 若存在可逆矩阵 与对角矩阵 ,使 (等价地 ),就称 可对角化.
对角化的意思正是第 3 章那句话:换一组基,让矩阵变成对角阵. 什么时候做得到?
几何直觉. 对角化 = 找到一组"顺纹"的坐标轴,把变换化简成"沿每根轴各自伸缩". 个独立特征向量正好能张满整个空间,此时拉伸表 只剩对角线上 个伸缩率;凑不满(如剪切),就总有一部分空间被"推斜",换什么轴都会在表上留下消不掉的副对角. 实验里把 、 拖到两条虚线上, 的副对角当场消失——那就是这条直觉的现场版.
定理(对角化判据) 对 矩阵 ,以下三件事等价: (1) 可对角化; (2) 有 个线性无关的特征向量; (3) 每个特征值的几何重数等于代数重数.
证明 (1) (2). ()取 个线性无关的特征向量作 的列,对应特征值放进对角阵 ,则 ,两边右乘 得 . ()设 ,则 . 看 的第 列:,每列都是特征向量; 可逆说明这 列线性无关.
为什么 (2) (3):把每个特征空间 各取一组基;先把同一特征空间内的组合并成一个向量,再套用"互异特征值的特征向量无关"(下面的折叠证明),可知这些基向量整体线性无关. 所以能凑出的独立特征向量总数恰好是 ,而
等号成立当且仅当每个特征值都取等——几何重数 = 代数重数.
推论 如果 个特征值互不相同, 一定可对角化.
证明(互异特征值的特征向量线性无关)
对个数归纳. 设 ,两边作用 :前 项变成 ,最后一项归零. 由归纳假设这些 无关,且 ,所以 ;代回原式得 ,故 .
不可对角化的例子:剪切 . , 的代数重数是 ;但 的零空间只有一维(),几何重数 . 判据第 (3) 条不满足,对角化失败——缺的那个特征方向,就是剪切"推斜所有向量"的代价. 这类矩阵要精确描述就得用 Jordan 标准型(矩阵分析的内容).
的威力. 一旦对角化,矩阵幂变得平凡:
而 只是把对角线各元素取 次方. 迭代、马尔可夫链、斐波那契数列这些"反复作用同一个矩阵"的问题,全都靠这一行解决.
实对称矩阵与谱定理
定理(谱定理,实对称情形) 实对称矩阵的特征值全是实数,并且可以选到 个两两正交的特征向量. 于是
其中 是对角阵(特征值), 的列是一组标准正交基——这样的方阵叫正交矩阵,满足 . 由这一条立得 :正交矩阵的转置直接就是逆,不用解方程;公式里的 其实就是在算 .
拿 验证:特征向量取单位化后的 、,
(顺带一提:对称矩阵对每个特征值都自动满足几何重数 = 代数重数,所以它的可对角化——而且是正交对角化——是无条件的.)
几何直觉. 谱定理说:对称变换总能找到一组互相垂直的"自然坐标轴",它的作用就是沿每根轴各自伸缩——没有旋转的纯拉伸. 这对一般矩阵不成立(剪切、旋转都不行);代价是非对称矩阵的特征方向可能不正交,甚至(在实数域)不存在.
到复数域上,一切方阵都有 个特征值(代数基本定理),但复特征值对应旋转成分:重复的共轭对 表示"旋转角由 决定、每步缩放 倍". 旋转 的特征值就是 :(不缩放),辐角 (转直角).
实验:特征方向、新基与变形网格
- 先看网格:浅色是标准网格,亮一层的斜网格是 作用后的变形网格. 「剪切」把方格推成平行四边形,「投影」把整张网格压扁到一条线——行列式正是它的面积缩放率.
- 拖绿色 与红色 :它们是新基,右侧实时显示 在新基下的矩阵 . 用「对称」预设把 拖到 、 拖到 (两条虚线), 变成 ——对角化的现场演示.
- 「对称」下把 拖到任意方向、连点「迭代 A」:方向朝 那根虚线靠——幂迭代.
- 「剪切」:只有一条虚线;、 无论怎么拖, 只能是上三角,副对角消不掉(几何重数不够).
- 「旋转 90°」:没有虚线,迭代轨迹绕圈——没有实特征方向;注意这时变形网格与标准网格重合(方格转 90° 还是方格).
- 「投影」: 的方向被压成零(第 6 章的零空间);点格子改矩阵, 时虚线消失(进入复数域).
实验 09
特征方向、新基与变形网格
λ₁3.00
λ₂1.00
trace4.00
det3.00
预设
A(点格子改)
P⁻¹AP(拖 u、w 改)
2.00
1.00
1.00
2.00
两条虚线是特征方向. 把绿色 u、红色 w 拖到虚线上,右侧 P⁻¹AP 会变成对角阵——这就是对角化.
浅色是标准网格,斜向的亮网格是 A 作用后的"变形网格"(行列式就是它的面积缩放率). 拖绿色 u、红色 w 组成新基,右侧实时显示 A 在新基下的矩阵 P⁻¹AP. 拖 v 看 Av,点「迭代 A」留下轨迹看方向往哪跑. 旋转 90° 时变形网格和标准网格重合——方格转 90° 还是方格.
习题
- 求 的特征值与特征向量,并验证 trace 与 det.
- 求上三角矩阵 的特征值与特征向量.
- 剪切矩阵 :求特征多项式与特征值,分别算出代数重数与几何重数,用判据 (3) 说明为什么不可对角化.
- 判断并证明:若 是 的特征值,则 是 的特征值;若 可逆, 是 的特征值.
- 投影 的特征值是什么?指出 的特征空间与零空间的关系.
- 旋转 :在实数域有特征向量吗?在复数域上求特征值与一个特征向量.
- 用对角化求 的公式.
- 对 重复习题 3:求两种重数并判断能否对角化,再说明它和 有什么本质区别.
参考答案
1. ,. 对应 , 对应 . 验证:,.
2. 上三角阵的特征多项式 ,特征值 、. :,特征向量 ;:,特征向量 .
3. , 的代数重数是 ; 的秩为 ,几何重数 . 几何重数凑不满 ,由判据 (3) 不可对角化.
4. ,同一个特征向量;(两边用 作用 ,可逆保证 ).
5. 特征值 与 . 的特征空间是 ——就是零空间(这里是 轴).
6. 实数域没有: 要求 的实特征值,而 没有实根. 复数域上 ,对应特征向量 :验证 .
7. 取 、,则
( 时验证: ✓.)
8. ,代数重数 ; 的秩为 ,几何重数 ,不可对角化. 而 的零空间是整个平面,几何重数 ,可对角化(本来就对角). 重根本身不致命,特征向量不够多才致命.
交叉
- 机器学习:PCA 就是对协方差矩阵用谱定理——特征向量是主方向,特征值告诉你每个方向承载多少方差;梯度下降在最优点附近的收敛速度由 Hessian 的最大/最小特征值之比控制.
- 矩阵分析:谱定理、Jordan 标准型和 SVD 都是"找一组好基把矩阵变简单"的不同版本;SVD 把本章结论推广到非方、非对称矩阵.
- 动力系统与网络: 的长期行为由模最大的特征值决定;马尔可夫链的平稳分布、PageRank 的排名,都是特征向量.
延伸
下一章《二次型与正定矩阵》会研究 这类"二次的度量":对称矩阵的特征值符号决定它的等值线是椭圆、双曲线还是鞍形;特征值全为正就是"正定". 特征值理论在那里会从"找方向"变成"判形状".