Skip to content

前言:从结构到工程 ​

《线性代数》把矩阵讲成了结构和空间;这一组接着往下,把它变成工程工具:怎么量"大小"(范数)、怎么把矩阵拆成好用的零件(LU、QR、Cholesky、SVD)、怎么知道算出来的结果可不可信(条件数)、怎么对矩阵求导(矩阵微积分),以及最小二乘的完整故事(广义逆). 这些正是反向传播、SVD 压缩、GEMM 优化这些工程名词底下的数学.

你需要的前置 ​

按《线性代数》的章节对一遍:

  • 第 2 章(向量空间、基与维数):线性无关、基、维数.
  • 第 4 章(内积、正交与投影):内积、标准正交基、正交矩阵——这一组每个分解都要用.
  • 第 5、6 章(行列式、四个基本子空间):奇异、秩、零空间、列空间.
  • 第 7、8 章(特征值、谱定理、二次型):特征值与对角化、实对称矩阵的正交对角化、正定——SVD 和条件数就是它们的推广.

微积分方面只需要高中导数的直觉(变化率、链式法则"一层层乘下去");矩阵微积分那一章会把"对向量求导"重新定义清楚,微积分单元里有更严格的版本.

不需要任何编程基础. 不过这一组的问题多半来自计算机——浮点误差、算法代价、迭代收敛——有程序经验会更有感觉,没有也完全跟得上.

会用到、但会现场补的 ​

  • 求和号 ∑\sum、逻辑符号、集合记号:同《线性代数》前言,第一次出现时会展开写.
  • 渐近记号 O(⋅)O(\cdot):讲算法代价时用,会现场解释.
  • 浮点误差的词汇(相对误差、机器精度):第一次用到时讲清楚.

符号约定 ​

全组统一,遇到新记号会先定义再使用.

向量与矩阵:沿用《线性代数》——向量粗体小写、矩阵大写字母、单位矩阵 II、转置 ATA^{\mathsf{T}};内积记 ⟨u,v⟩\langle \mathbf{u}, \mathbf{v} \rangle,标准内积也写 uTv\mathbf{u}^{\mathsf{T}}\mathbf{v}.

范数:向量范数记 ∥x∥\|\mathbf{x}\|,带下标指具体类型(∥x∥2\|\mathbf{x}\|_2 是欧氏长度,∥x∥1\|\mathbf{x}\|_1 是分量绝对值之和,∥x∥∞\|\mathbf{x}\|_\infty 是最大分量);矩阵范数 ∥A∥\|A\| 默认指算子范数,第 1 章定义. 数量用绝对值 ∣⋅∣|\cdot|、向量矩阵用 ∥⋅∥\|\cdot\|,两者不混.

分解:A=LUA = LU(下三角乘上三角)、A=QRA = QR(正交乘上三角)、A=UΣVTA = U\Sigma V^{\mathsf{T}}(SVD);奇异值记 σ1≥σ2≥⋯≥0\sigma_1 \ge \sigma_2 \ge \cdots \ge 0.

条件数与广义逆:条件数记 κ(A)\kappa(A),广义逆记 A+A^+.

微积分:梯度记 ∇f\nabla f,雅可比矩阵记 JJ,Hessian 沿用第 8 章的叫法.

标点:句号一律用半角英文句点——写 这样.,不写 这样。;其余标点(逗号、分号、冒号、问号)用全角. 与全站一致,看到"哪里.这"连着写不是排版事故.

怎么读 ​

  • 每章结构固定:动机 → 定义与例子 → 可拖动的实验 → 习题(答案折叠). 定义先于使用,证明能折叠就折叠.
  • 这一组和《线性代数》的气质不同:那边问"是什么结构",这边问"怎么算、算得多准、代价多大". 你会看到更多数字、误差和算法步骤——它们不是装饰,是内容本身.
  • 实验是动手环节,至少要拖一遍.
  • 哪段读不懂,别硬盯定义——找两三个具体的数代进去,把式子手算一遍.