前言:从结构到工程
《线性代数》把矩阵讲成了结构和空间;这一组接着往下,把它变成工程工具:怎么量"大小"(范数)、怎么把矩阵拆成好用的零件(LU、QR、Cholesky、SVD)、怎么知道算出来的结果可不可信(条件数)、怎么对矩阵求导(矩阵微积分),以及最小二乘的完整故事(广义逆). 这些正是反向传播、SVD 压缩、GEMM 优化这些工程名词底下的数学.
你需要的前置
按《线性代数》的章节对一遍:
- 第 2 章(向量空间、基与维数):线性无关、基、维数.
- 第 4 章(内积、正交与投影):内积、标准正交基、正交矩阵——这一组每个分解都要用.
- 第 5、6 章(行列式、四个基本子空间):奇异、秩、零空间、列空间.
- 第 7、8 章(特征值、谱定理、二次型):特征值与对角化、实对称矩阵的正交对角化、正定——SVD 和条件数就是它们的推广.
微积分方面只需要高中导数的直觉(变化率、链式法则"一层层乘下去");矩阵微积分那一章会把"对向量求导"重新定义清楚,微积分单元里有更严格的版本.
不需要任何编程基础. 不过这一组的问题多半来自计算机——浮点误差、算法代价、迭代收敛——有程序经验会更有感觉,没有也完全跟得上.
会用到、但会现场补的
- 求和号 、逻辑符号、集合记号:同《线性代数》前言,第一次出现时会展开写.
- 渐近记号 :讲算法代价时用,会现场解释.
- 浮点误差的词汇(相对误差、机器精度):第一次用到时讲清楚.
符号约定
全组统一,遇到新记号会先定义再使用.
向量与矩阵:沿用《线性代数》——向量粗体小写、矩阵大写字母、单位矩阵 、转置 ;内积记 ,标准内积也写 .
范数:向量范数记 ,带下标指具体类型( 是欧氏长度, 是分量绝对值之和, 是最大分量);矩阵范数 默认指算子范数,第 1 章定义. 数量用绝对值 、向量矩阵用 ,两者不混.
分解:(下三角乘上三角)、(正交乘上三角)、(SVD);奇异值记 .
条件数与广义逆:条件数记 ,广义逆记 .
微积分:梯度记 ,雅可比矩阵记 ,Hessian 沿用第 8 章的叫法.
标点:句号一律用半角英文句点——写 这样.,不写 这样。;其余标点(逗号、分号、冒号、问号)用全角. 与全站一致,看到"哪里.这"连着写不是排版事故.
怎么读
- 每章结构固定:动机 → 定义与例子 → 可拖动的实验 → 习题(答案折叠). 定义先于使用,证明能折叠就折叠.
- 这一组和《线性代数》的气质不同:那边问"是什么结构",这边问"怎么算、算得多准、代价多大". 你会看到更多数字、误差和算法步骤——它们不是装饰,是内容本身.
- 实验是动手环节,至少要拖一遍.
- 哪段读不懂,别硬盯定义——找两三个具体的数代进去,把式子手算一遍.