四个基本子空间
前五章攒了一桌零件:空间与基(第 2 章)、线性映射与矩阵(第 3 章)、内积与正交(第 4 章)、行列式(第 5 章).这一章把它们拼成一张图.
图的中心是一个矩阵:它管着两个空间——输入 与输出 ,并把两边各切成互相垂直的两块. 关于方程 的所有问题,"有没有解、有多少解、解长什么样",答案都在这张图上.
高中那点工具,够用到哪里
除了第 1 章复习过的消元,高中还给了这一章一件关键道具——法向量:
- 选必一 1.4.1 用空间向量研究直线、平面的位置关系:直线的方向向量、平面的法向量;直线 的系数 就是一个法向量.
- 选必一 1.2 空间向量基本定理(共面定理):三个向量共面当且仅当其中一个能由另外两个线性表示——"共面"就是"线性相关"的几何版.
一个高中事实,本章读法. 直线 的法向量是 ,方向向量可以取 ——两者点积为零:
用本章的语言:方向向量(解的自由方向)与法向量(方程的系数行)正交. 一条直线的解空间是"与法向量正交的方向";两条直线联立,就是"同时与两个法向量正交的方向". 第 6 章把这句话推广成"零空间 = 行空间的正交补"——高中那句"方向向量 ⊥ 法向量",就是它的二维特例.
阶梯形与主元
定义(行阶梯形) 一个矩阵若满足下面两条,就叫行阶梯形: (i) 每个非零行的第一个非零元素,出现在上一行第一个非零元素的右边; (ii) 全零行排在最下面. 那个"第一个非零元素"叫这一行的主元. 如果进一步满足:每个主元都是 ,且主元所在列的其他元素都是 ,就叫简化行阶梯形(reduced row echelon form,RREF).
拿一个矩阵走一遍(做法就是第 3 章的高斯-约当消元:倍加消元、主元归一,必要时交换两行):
右边就是 的 RREF:两个主元,分别在第 1、2 列.
再看一个宽一点的例子,注意主元可以"跳着"出现:
主元在第 1、3 列;第 2 列没有主元,因为它就是第 1 列的 倍——"没有主元"和"能被前面的列拼出来"是同一件事.
前几列的"张成"与主元的关系. 把列依次记为 ,看前 列张成的子空间
这一串子空间只会变大或原地不动:. 而"变大"的时刻精确对应主元:
- 第 列是主元列 不能由前面的列拼出来 比 严格大(维数加一);
- 第 列没有主元 是前面各列的线性组合 (张成没变化).
换句话说:主元标记的正是"张成扩张的那一刻",主元的个数就是整组列最终张成的维数.
拿上面两个例子核对:
- :,所以 (第 2 列没有主元);而 不在 里, 严格变大(第 3 列有主元). 两个主元,最后张成的是整个 .
- : 不是 的倍数(),所以第 2 列有主元;而 ,所以第 3 列没有主元. 留意 RREF 里第 3 列写的正是 ——那条组合的系数原封不动地记在那里.
这还解释了为什么能从 RREF 读出列之间的线性关系:行变换是可逆的,不会破坏"某列能不能由前面列拼出来"这个事实,所以主元的位置与组合的系数都被原样保留下来.
命题(RREF 唯一) 任何矩阵经初等行变换化成的简化行阶梯形是唯一的.
为什么唯一(概述)
行变换是可逆的,所以它保持列与列之间的线性关系: 在变换前后同真同假.
- 主元列的位置唯一. 在 RREF 里,第 列是主元列,当且仅当它不能由左边的列线性表出:主元列是某个 ,而左边的每一列在第 个位置上都是 ,拼不出 ;反过来,不能表出的列必然引入一个新主元. "能不能表出"只涉及列之间的线性关系,而行变换不改变它——所以主元列的位置由矩阵本身决定,与消元步骤无关.
- 非主元列的内容唯一. 每个非主元列都是左边各列的一个线性组合,而这个组合方式由列关系唯一确定. 主元列本身全是标准基向量,没有自由度.
于是整个 RREF 被唯一确定.
秩
定义(秩) 矩阵的秩等于它的 RREF 里主元的个数,也等于非零行的个数,记作 或 .
由 RREF 的唯一性,秩是良定义的:不管怎么消元,数出来的主元一样多. 秩是"矩阵真正携带的独立信息量"——被消掉的东西都是前面内容的重复.
例子(一眼可判的秩).
- 零矩阵的秩是 (一个主元都没有);单位矩阵的秩是 (每列都是主元);
- 的秩是 :第二列是第一列的 倍,消完只剩一个主元;
- 全 的 矩阵秩是 (三行一模一样);
- "元素都非零"离满秩差得远: 的秩还是 .
例题(教材风格). 判断下列两条直线的位置关系:(1) 与 ;(2) 与 .
解(高中). (1) 第二式除以 2 后与第一式完全相同,两直线重合;(2) 第二式除以 2 得 ,与第一式矛盾,两直线平行.
线代读法. 把方程组写成增广矩阵消元:两问的系数矩阵秩都是 1(两行成比例);区别在增广矩阵——(1) 的右端同比例,增广矩阵秩也是 1;(2) 的右端不成比例,增广矩阵秩是 2. 于是
- 相交:;
- 重合:;
- 平行:.
高中"看两条直线的位置关系",就是本章"比较两个秩"的最简版本——下一节把这件事推广到任意多个方程、任意多个未知数.
四个基本子空间
定义 对 矩阵 ,定义四个子空间:
- 列空间 :所有可能的输出;
- 零空间 :被压成零的输入;
- 行空间 : 的行的全部线性组合;
- 左零空间 .
四个都是子空间(对加法与数乘封闭,验证都是一行). 接下来把它们的维数与基一次性算清楚,工具就是 RREF.
几何直觉(把 想成一台机器). 对输入做的事可以拆成两半:
- 行空间那一半: 不丢信息——它把行空间旋转加拉伸后原样搬到列空间, 维对 维,一一对应;
- 零空间那一半:整个被压成零点,信息全丢.
秩 是" 保留了几维", 是"丢了几维";输出那边,列空间是"能够到的区域",左零空间是"永远够不着的方向".
列空间:主元列构成一组基. 在 RREF 里,主元列是 ,显然线性无关;其余列都是主元列的线性组合,而且这个组合关系在行变换前后不变. 所以 的主元列张成列空间且线性无关——是一组基:
行空间:非零行构成一组基. 行变换不改变行空间(每一步都是把一行换成它与其他行的组合,旧行空间与新行空间互相包含). 所以 的行空间等于 RREF 的行空间,而后者的基就是那 个非零行:
里的列空间与 里的行空间,维数都是 ——这就是"行秩等于列秩". 顺带得到转置的一条好性质: 的列空间就是 的行空间,所以
零空间:数自由变量. 解 就是解它的 RREF:主元变量由自由变量表出. 有 个主元变量、 个自由变量,每个自由变量取 、其余自由变量取 ,就得到一个基向量:
拿上面的例子:RREF 是 ,前两列是主元列, 自由; 时 、,零空间的一组基是 .
左零空间:把上面的结论用到 . 左零空间就是 的零空间,所以
两个维数等式于是配平了两边的空间:
例子(把本章的例子一次列全). 对 :
子空间 一组基 维数 住在哪 列空间 、(主元列) 零空间 行空间 、(RREF 非零行) 左零空间 顺手验证两组正交配对:、;、. 两侧的维数也确实配平:.
几何直觉(两个极端例子).
- (秩 ):整个平面被压到直线 上. 行空间是 ,零空间是 ——两条直线互相垂直(内积 ); 把行空间的方向拉伸 倍搬到同一条线上:.
- :四个子空间就是两条坐标轴——列空间与行空间都是 轴,零空间与左零空间都是 轴. 这是能画出来的最干净的一张图.
正交补与直和
第 4 章把转置解释成"把矩阵搬到内积的另一边":. 在用这句话之前,先把两个空间术语定义清楚.
定义(正交补) 设 是 的子空间. 与 中每个向量都正交的向量全体
叫 的正交补.
维数是配平的:. 取 的一组标准正交基(Gram–Schmidt 保证存在),补成整个 的标准正交基;一个向量与 正交,当且仅当它在前 个基向量上的系数全为零,所以 恰好由补出来的 个基向量张成,维数 .
定义(直和) 设 是 的子空间( 表示全体 组成的集合). 若每个 都能唯一地写成
就称 是 与 的直和,记作 . 若再加上"每个 与每个 正交",就叫正交直和.
把"写得出来"与"写得唯一"拆开看:写得出来就是 ;写得唯一等价于 ——有两个不同表示时,相减得到同时落在 与 里的非零向量;反过来,公共非零向量 会让 有两个表示( 与 ). 正交直和是直和里最规整的一种:两块互相垂直,互不干扰.
命题 ,而且 ;对称地,,且 .
证明. 取 、,则 ,于是
中间一步用的正是转置的伴随性质. 维数上,;在 维空间里,一个子空间的正交补维数恰好是 减去它自己的维数,两者维数相加为 时它们互为正交补,所以 . 另一侧同理.
定理(线性代数基本定理) 是行空间与零空间的正交直和, 是列空间与左零空间的正交直和:
换成坐标的话:每个输入向量都能唯一地拆成"行空间分量 + 零空间分量",两块互相垂直;每个输出向量同理拆成"列空间分量 + 左零空间分量".
人话版:输入空间被切成"有用的部分"(行空间)和"被浪费掉的部分"(零空间),两块互相垂直;输出空间同样被切成"能到达的部分"(列空间)和"永远够不着的方向"(左零空间).
几何直觉(勾股定理). 正交直和就是勾股定理:任取 ,把它拆成行空间分量与零空间分量,两块垂直,于是
拿 、 验证:行空间分量是 ,零空间分量是 ,.
回到方程 Ax = b
有了图,第 1 章的老问题一句话就能回答.
- 有没有解:,等价地,——只要 与每个"左零向量"正交,方程就有解;只要找到一个左零向量与 内积不为零,就无解.
- 有多少解:有解时,通解 = 一个特解 + 零空间的任意向量(两个解之差必落在零空间). 唯一 .
- 对方阵,"每个 都有唯一解" :这就是第 5 章的"可逆 ",现在换成了秩的语言.
例子(用上面的矩阵试两个右端). 还是 ,左零空间由 张成,所以可解的 必须满足
- :,有解. 试出特解 (验证:),加上零空间方向得通解 ——一条直线上的无穷多组解.
- :,无解——用一个左零向量点一下就能判死刑.
几何直觉. 问的是" 在不在列空间里". 不在的时候,能做的最好的事是把 正交投影到列空间上——投影点是列空间里离 最近的目标(第 4 章的"最佳逼近"),这就是最小二乘的几何图景.
实验:点格子看秩
实验里的矩阵可以直接点着改(数值循环 ),右边同步给出 RREF、主元框和四个维数.
- 默认矩阵秩 2:橙色是主元列,零空间基里能看到 .
- 点「满秩」:零空间只剩零向量, 侧配平条被行空间占满.
- 点「宽矩阵」「高矩阵」:注意两边的配平不一样—— 时左零空间维数恰好是 .
- 点某个格子改一个数,看秩什么时候掉 1,四个维数一起动.
实验 08
四个基本子空间
秩2
零空间1
左零空间1
矩阵3×3
预设点矩阵格子改数值(循环 0 → 1 → 2 → −1)
A(高亮列 = 主元列)
简化行阶梯形 R(框 = 主元)
10-1012000
零空间的一组基 (1, -2, 1)
秩 = 主元个数 = 2:列空间与行空间的维数都是 2,零空间维数是 n − 秩 = 1, 左零空间维数是 m − 秩 = 1. 左右两侧的维数各自配平:2 + 1 = 3, 2 + 1 = 3.
图的读法:橙色列是主元列,它们构成列空间的基;简化阶梯形的非零行构成行空间的基; 零空间是 Ax = 0 的全部解;左零空间是满足 yᵀA = 0 的 y. 行空间与零空间在 Rⁿ 里互相正交, 列空间与左零空间在 R^m 里互相正交(性由内积验证).
习题
- 对 :写出 RREF、秩、四个子空间的维数,并给出零空间与左零空间的一组基.
- 对 :求秩、零空间与左零空间的维数,并给出左零空间的基.
- 用左零空间判据判断 、 与 分别有没有解.
- 证明: 与 一定正交(用转置的伴随性质).
- 证明:(提示: 的列空间就是 的行空间).
- 概念题:"秩 = 主元个数 = 线性无关列的个数 = 线性无关行的个数"——这些说法都对吗?请解释行秩为什么等于列秩.
- 综合题:用 、、 的语言重写"唯一解、无解、无穷多解"三种结局,并说明方阵情形为什么退化成第 5 章的"可逆 ".
参考答案
1. RREF 是 ,. ,基取主元列 、;,基取 RREF 的非零行 、;,基 ;,由 解得基 .
2. 消元得 ,;两列线性无关,零空间只有零向量(维数 );左零空间维数 ,解 得基 :验证 .
3. 的左零空间是 (解 -系的方程). ,所以 有解(而且有无穷多组,因为零空间非平凡);,所以 无解.
4. 见正文:,.
5. 由正文: 是 的行空间,所以 .
6. 都对,四个数说的是同一件事. 行秩 = 列秩的解释:RREF 有 个非零行,它们构成行空间的基(行秩 );RREF 的 个主元列对应 的 个线性无关列,它们构成列空间的基(列秩 ). 同一个 ,所以相等.
7. 有解 ;有解时解唯一 ,否则有解就有无穷多解. 无解的情况出现在 ,只要 就可能发生. 方阵 时:"对每个 唯一可解" 列满秩 ,正是第 5 章的结论.
交叉
- 机器学习:数据矩阵的列空间是"特征的张成",秩告诉你有多少信息是冗余的;LoRA 之类的低秩微调,本质是把权重增量限制在一个低维子空间里.
- 矩阵分析:SVD 用两族正交基把四个子空间同时写清楚——前 列张成列空间与行空间,后几列张成两个零空间;这是下一章的直接工具.
- 体系结构:数值消元时主元的选择顺序会影响计算量与误差(选主元、填充问题),稀疏矩阵求解器的核心工作就在这里.
延伸
下一章《特征值与对角化》会研究那些"被映射拉伸但不转向"的特殊向量. 有了四个子空间,第一件事就是把特征值 的含义说清楚: 是特征值,当且仅当零空间非平凡——矩阵在某个方向上把空间压扁了.