线性代数

值域和零空间

设矩阵 $A \in \mathbf{R}^{m \times n}$,$A$ 的值域是指 $\mathbf{R}^{m}$ 中能够写成 $A$ 的列向量的线性组合的所有向量的集合,即

$$ \begin{align} \mathcal{R} (A) = \{Ax \mid x \in \mathbf{R}^{n} \} \end{align} $$

值域 $\mathcal{R} (A)$ 是 $\mathbf{R}^{m}$ 的子空间,它的维数是 $A$ 的,记作 $\operatorname{rank} A$。$A$ 的秩一定不会大于 $m$ 和 $n$ 的较小值。当 $\operatorname{rank} A = \min {m, n}$ 时,称 $A$ 为满秩矩阵。

$A$ 的零空间(或)是指被 $A$ 映射成零的所有向量 $x$ 的集合,即

$$ \begin{align} \mathcal{N}(A) = \{x \mid Ax=0\} \end{align} $$

正交补

$$ \begin{align} \mathcal{V}^{\bot} = \{x \mid \forall z \in \mathcal{V}, z^Tx=0\} \end{align} $$

有如下结论恒成立:

$$ \begin{align} \mathcal{V}^{\bot\bot} = \mathcal{V} \end{align} $$

$A$ 导出的正交分解

$$ \begin{align} \mathcal{N}(A) = \mathcal{R}(A^T)^{\bot} \end{align} $$

对称特征值分解

设 $A$ 为 $n$ 阶实对称矩阵,则 $A$ 可以因式分解为

$$ \begin{align} A = Q \Lambda Q^T \end{align} $$

其中 $Q \in \mathbf{R}^{n \times n}$ 是正交矩阵,满足 $Q^TQ = I$,而 $\Lambda = \operatorname{diag}(\lambda_1, \cdots, \lambda_n)$。实数 $\lambda_i$ 是 $A$ 的特征值,是特征多项式 $\det(sI-A)$ 的根,$Q$ 的列向量构成 $A$ 的一组正交特征向量

通常我们将特征值按从大到小排序,用 $\lambda_{i}(A)$ 表示第 $i$ 大特征值。最大特征值记作 $\lambda_{1}(A) = \lambda_{max}(A)$,最小特征值记作 $\lambda_{n}(A) = \lambda_{min}(A)$。

特征值具有如下性质:

$$ \begin{align} \det A &= \prod_{i=1}^{n} \lambda_i \\\\ \operatorname{tr} A &= \sum_{i=1}^{n} \lambda_i \end{align} $$

矩阵不等式

$$ \begin{align} \lambda_{\max}(A)=\sup_{x \neq 0} \frac{x^{T} A x}{x^{T} x}, \quad \lambda_{\min}(A)=\inf _{x \neq 0} \frac{x^{T} A x}{x^{T} x} \end{align} $$

特别地,对 $\forall x$,我们有

$$ \begin{align} \lambda_{\min}(A)x^Tx \leqslant x^Tx \leqslant \lambda_{\max}(A)x^Tx \end{align} $$

正定矩阵

若矩阵 $A$ 对 $\forall x \ne 0$,有 $x^TAx > 0$ 成立,则称矩阵 $A$ 正定,记作 $A \succ 0$。显然,$A \succ 0$ 的充要条件是 $\lambda_{\min}(A) > 0$。

同理,半正定(非负定)、负定、半负定(非正定)矩阵的定义类似。本文从略。

对称平方根

$$ \begin{align} A^{1 / 2}=Q \operatorname{diag}\left(\lambda_{1}^{1 / 2}, \cdots, \lambda_{n}^{1 / 2}\right) Q^{T} \end{align} $$

平方根 $A^{1/2}$ 是矩阵方程 $X^2 = A$ 的唯一的对称半正定的解。

广义特征值分解

两个对称矩阵 $\left(A, B\right) \in \mathbf{S}^{n} \times \mathbf{S}^{n}$ 的广义特征值定义为多项式 $\det (sB - A)$ 的根。

奇异值分解

设 $A \in \mathbf{R}^{m \times n}$,$\operatorname{rank} A = r$,那么 $A$ 可以因式分解为

$$ \begin{align} A = U \Sigma V^T \end{align} $$

其中 $U \in \mathbf{R}^{m \times r}$ 满足 $U^TU = I$,$V \in \mathbf{R}^{n \times r}$ 满足 $V^TV = I$,而 $\Sigma = \operatorname{diag}(\sigma_1, \cdots, \sigma_r)$ 满足

$$ \begin{align} \sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_r > 0 \end{align} $$

称为 $A$ 的奇异值分解(SVD)。$U$ 的列向量称为 $A$ 的左奇异向量,$V$ 的列向量称为 $A$ 的右奇异向量,而 $\sigma_i$ 称为奇异值。奇异值分解可以写成

$$ \begin{align} A=\sum_{i=1}^{r} \sigma_{i} u_{i} v_{i}^{T} \end{align} $$

伪逆

设 $A = U \Sigma V^T$ 为 $A \in \mathbf{m \times n}$ 的奇异值分解,$\operatorname{rank} A = r$,则 $A$ 的伪逆

$$ \begin{align} A^{\dagger}=V \Sigma^{-1} U^{T} \in \mathbf{R}^{n \times m} \end{align} $$

伪逆可以用于求解最小二乘、最小范数、二次规划以及(Euclid)投影这些问题。

Schur 补

考虑进行以下划分的矩阵 $X \in \mathbf{S}^{n}$

$$ \begin{align} X = \left [ \begin{matrix} A & B \\\\ B^T & C \end{matrix} \right ] \end{align} $$

其中 $A \in \mathbf{S}^k$。如果 $\det A \ne 0$,矩阵

$$ \begin{align} S = C - B^TA^{-1}B \end{align} $$

被称为 $A$ 在 $X$ 中的 Schur 补。Schur 补出现于很多重要的公式和定理中,例如

$$ \begin{align} \det X = \det A \det S \end{align} $$

分块矩阵求逆

考虑如下分块矩阵方程:

$$ \begin{align} \left[\begin{array}{cc} A & B \\\\ B^{T} & C \end{array}\right]\left[\begin{array}{l} x \\\\ y \end{array}\right]=\left[\begin{array}{l} u \\\\ v \end{array}\right] \end{align} $$

假设 $\det A \ne 0$。将方程中的 $x$ 消去,解得

$$ \begin{align} y = S^{-1}\left(v - B^TA^{-1}u\right) \end{align} $$

将 $y$ 代入原方程,解得

$$ \begin{align} x=\left(A^{-1}+A^{-1} B S^{-1} B^{T} A^{-1}\right) u-A^{-1} B S^{-1} v \end{align} $$

于是我们可以得到分块矩阵的求逆公式:

$$ \begin{align} \left[\begin{array}{cc} A & B \\\\ B^{T} & C \end{array}\right]^{-1}=\left[\begin{array}{cc} A^{-1}+A^{-1} B S^{-1} B^{T} A^{-1} & -A^{-1} B S^{-1} \\\\ -S^{-1} B^{T} A^{-1} & S^{-1} \end{array}\right] \end{align} $$
Previous