线性代数笔记（一）
\(\newcommand{\Span}{\operatorname{span}}\) \(\newcommand{\Nullity}{\operatorname{nullity}}\) \(\newcommand{\Rank}{\operatorname{rank}}\) \(\newcommand{\Colon}{\colon\;\;}\) \(\newcommand{\Inner}[1]{\langle #1 \rangle}\) \(\newcommand{\Norm}[1]{\lVert #1 \rVert}\) \(\newcommand{\List}[2][n]{\{ #2_1, #2_2, \ldots, #2_#1 \}}\)
Chap. 1
vector spaces
域 (field) \(F\) 上的向量空间 (vector space over \(F\)) 或线性空间 (linear space) \(V\) 包含一个向量集合和两个运算 (addition and scalar multiplication) 满足：
- 加法交换律 (commutativity of addition) 。
- 加法结合律 (associativity of addition) 。
- 有加法单位元。
- 每个向量有加法逆元。
- 有乘法单位元。
- 乘法结合律。
- 乘法对加法有分配律，\(a (x + y) = ax + ay\) 以及 \((a + b) x = ax + bx\) 。
其中加法是向量加法，乘法是 \(F\) 上的标量乘向量（标乘）。
subspaces
\(\{0\}\) 总是向量空间 \(V\) 的一个子空间 (subspace of \(V\)) 。\(W\) 是 \(V\) 的子空间当且仅当
\[ \forall x, y \in W, c \in F \;\; cx + y \in W \]
\(V\) 的两个子空间 \(W_1, W_2\) 的和 (sum) 定义为 \(W = W_1 + W_2 = \{x + y | x \in W_1, y \in W_2\}\) 。那么 \(W\) 也是 \(V\) 的子空间，且 \(W_1 \subset W\), \(W_2 \subset W\) 。
特别地，如果 \(W_1 \cap W_2 = \{0\}\) 那么 \(W\) 也叫它们的直和 (direct sum) ，记作 \(W = W_1 \oplus W_2\) 。
对于向量空间 \(V\) 和子空间 \(W\) ，\(v + W = \{v + w | w \in W\}\) 称作 \(W\) 的一个陪集 (coset) ，\(v + W\) 也是子空间当且仅当 \(v \in W\) 。
对于固定的 \(W\) ，陪集之间也可以定义加法 \((v_1 + W) + (v_2 + W) = (v_1 + v_2) + W\) 以及标乘 \(c (v + W) = cv + W\) ，于是 \(W\) 的所有陪集构成了一个新的向量空间。
linear combinations and systems of linear equations
对于向量空间 \(V\) 和非空集合 \(S \subset V\) ，向量 \(v \in V\) 是 \(S\) 的线性组合 (linear combination) 当且仅当：存在对应的一组系数 (coefficient) \(a(u)\) 使得
\[ \sum_{u \in S} a(u) u = v \]
定义 \(\Span(S)\) 表示一个 \(V\) 的子集，\(v \in V\) 当且仅当 \(v\) 是 \(S\) 的线性组合，特别地 \(\Span(\varnothing) = \{0\}\) 。事实上 \(\Span(S)\) 总是 \(V\) 的一个子空间。
如果 \(\Span(S) = V\) 我们称 \(S\) 生成 (generate) \(V\) 。
linear dependence and linear independence
对于向量空间 \(V\) 和非空集合 \(S \subset V\) ，称 \(S\) 线性相关 (linearly dependent) 当且仅当：存在对应的一组不全为零的系数 \(a(u)\) 使得
\[ \sum_{u \in S} a(u) u = 0 \]
反之 \(S\) 线性无关 (linearly independent) ，空集也是线性无关的。
线性相关集的父集也线性相关，线性无关集的子集也线性无关。
对于线性无关集 \(S \subset V\) 和 \(v \in V\) ，\(S \cup \{v\}\) 仍然线性无关当且仅当 \(v \in \Span(S)\) 。
bases and dimension
向量空间 \(V\) 的基 (basis for \(V\)) 是指线性无关的能生成 \(V\) 的子集 \(\beta\) 。\(V\) 中的每个向量都是 \(\beta\) 的线性组合且系数唯一。
对于有限集 \(S\) 若 \(\Span(S) = V\) 则存在 \(\beta \subset S\) 是 \(V\) 的一组基。
对于线性无关集 \(S\) 一定存在 \(\beta \supset S\) 是 \(V\) 的一组基，这也称作 \(S\) 可以扩展 (extend) 到 \(\beta\) 。
交换定理：对于向量空间 \(V\) 和两个大小分别为 \(n, m\) 的子集 \(G\), \(L\) 。\(\Span(G) = V\) 且 \(L\) 线性无关。那么 \(n \ge m\) 并且存在 \(H \subset G\) 大小为 \(n - m\) 且 \(\Span(L \cup H) = V\) 。
如果 \(V\) 的基 \(\beta\) 是有限集，那么定义 \(V\) 的维度 (dimension) 为 \(\dim(V) = | \beta |\) 。
对于 \(V\) 的子空间 \(W\) 必有 \(\dim(W) \le \dim(V)\) 且 \(\dim(W) = \dim(V)\) 当且仅当 \(W = V\) 。
大小等于维度的线性无关集总是一组基。
maximal linearly independent subsets
略。
Chap. 2
linear transformations, null spaces, and rages
对于线性空间 \(V, W\) ，映射 \(T \Colon V \to W\) 被称为线性映射 (linear transformation, linear map) 当且仅当
\[ \forall x, y \in V, c \in F \;\; T(cx + y) = c T(x) + T(y) \]
线性映射 \(T \Colon V \to W\) 的零空间 (null space) 或核空间 (kernel) 定义为 \(N(T) = \{x \in V | T(x) = 0\}\) 。
线性映射 \(T \Colon V \to W\) 的值域 (range) 或像空间 (image) 定义为 \(R(T) = \{T(x) | x \in V\}\) 。
事实上 \(N(T)\) 和 \(R(T)\) 分别是 \(V, W\) 的子空间，定义 \(\Nullity(T) = \dim(N(T))\) 和 \(\Rank(T) = \dim(R(T))\) 则有
\[ \Nullity(T) + \Rank(T) = \dim(V) \]
线性映射 \(T\) 是单射 (injective, one-to-one) 当且仅当 \(\Nullity(T) = 0\) 。
线性映射 \(T\) 是满射 (surjective, onto) 当且仅当 \(\Rank(T) = \dim(W)\) 。
线性映射 \(T\) 是双射 (bijective) 的必要条件是 \(\dim(V) = \dim(W)\) 。
假设 \(\{v_1, v_2, \cdots, v_n\}\) 是线性空间 \(V\) 的一组基，对于线性空间 \(W\) 中的任意 \(n\) 个元素 \(w_1, w_2, \cdots, w_n\) ，一定存在恰好一个 \(V\) 到 \(W\) 的线性映射 \(T\) 满足
\[ \forall i \in \mathbb{N} \cap [1, n] \;\; T(v_i) = w_i \]
the matrix representation of a linear transformation
有序基 (ordered basis) 是区分排列顺序的一组基。\(F^n\) 的标准有序基 (standard ordered basis) 是 \(\{e_1, e_2, \cdots, e_n\}\) ，其中 \(e_i\) 仅有第 \(i\) 维为 \(1\) 其他都是 \(0\) 。\(P_n(F)\) 的标准有序基是 \(\{1, x, \cdots, x^n\}\) 。
给定线性空间 \(V\) 和一个有序基 \(\beta = \{u_1, u_2, \cdots, u_n\}\) ，对于任意的 \(x \in V\) ，可以找到唯一的一组线性组合的系数 \(\{a_1, a_2, \cdots, a_n\}\) ，定义 \(x\) 关于 \(\beta\) 的坐标向量 (coordinate vector) 为
\[ [x]_{\beta} = \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \\ \end{pmatrix} \]
对于线性映射 \(T \Colon V \to W\) 和两个有序基 \(\beta = \{v_1, v_2, \cdots, v_n\}\) 和 \(\gamma = \{w_1, w_2, \cdots, w_m\}\) ，定义矩阵 \(A \in M_{m \times n}(F)\) 满足
\[ \forall 1 \le j \le n \;\; T(v_j) = \sum_{i=1}^m A_{i,j} w_i \]
\(A\) 称为线性映射 \(T\) 在有序基 \(\beta\), \(\gamma\) 上的矩阵表示 (matrix representation of linear transformation) ，通常记作 \([T]^{\gamma}_{\beta}\) 。如果 \(V = W \land \gamma = \beta\) 也可以简记为 \([T]_{\beta}\) 。
不难发现矩阵与线性映射是个一一对应的关系。记 \(\mathcal{L}(V, W)\) 为所有从 \(V\) 到 \(W\) 的线性映射，则 \(\mathcal{L}(V, W)\) 也是在 \(F\) 上的线性空间，且维度为 \(\dim(V) \dim(W)\) 。特别地如果 \(V = W\) 可以简记为 \(\mathcal{L}(V)\) 。
矩阵表示还满足
\[ [c T + U]^{\gamma}_{\beta} = c [T]^{\gamma}_{\beta} + [U]^{\gamma}_{\beta} \]
composition of linear transformations and matrix multiplication
线性映射的复合 (composition) \(U \circ T\) 也是线性映射。线性映射的复合对加法满足分配律。
对于线性空间 \(V, W, Z\) 和三个对应的有序基 \(\alpha, \beta, \gamma\) 和线性映射 \(T \Colon V \to W, U \Colon W \to Z\) 有
\[ [U \circ T]^{\gamma}_{\alpha} = [U]^{\gamma}_{\beta} \times [T]^{\beta}_{\alpha} \]
以及
\[ \forall v \in V \;\; [T(v)]_{\beta} = [T]^{\beta}_{\alpha} [v]_{\alpha} \]
对于 \(A \in M_{m \times n}(F)\) 定义线性映射 \(L_A \Colon F^n \to F^m\) 为 \(L_A(x) = A x\) ，称为左乘映射（？）(left-multiplication transformation) 。
\(L_A\) 在 \(F^n, F^m\) 的标准有序基 \(\beta, \gamma\) 上的矩阵表示就是
\[ [L_A]^{\gamma}_{\beta} = A \]
由于线性映射和矩阵一一对应，线性映射自然也可以与左乘映射一一对应。
invertibility and isomorphisms
线性映射 \(T \Colon V \to W\) 的逆 (inverse) \(T^{-1} \Colon W \to V\) 也总是线性映射。\(T\) 可逆 (invertible) 当且仅当 \([T]^{\gamma}_{\beta}\) 可逆且此时有
\[ [T^{-1}]^{\beta}_{\gamma} = ([T]^{\gamma}_{\beta})^{-1} \]
如果存在可逆线性映射 \(T \Colon V \to W\) 则称 \(V\) 同构 (isomorphic) 于 \(W\) ，这等价于 \(\dim(V) = \dim(W)\) 。这个 \(T\) 称为从 \(V\) 到 \(W\) 的同构 (isomorphism) 。
the change of coordinate matrix
对于线性空间 \(V\) 和两个有序基 \(\beta, \beta'\) ，定义 \(Q = [I_V]_{\beta'}^{\beta}\) 为坐标变换矩阵（？）(change of coordinate matrix) 。从 \(\beta'\) 坐标变换到 \(\beta\) 坐标。有
\[ \forall v \in V \;\; [v]_{\beta} = Q [v]_{\beta'} \]
\(V\) 到 \(V\) 的线性映射称作 \(V\) 上的线性算子 (linear operator) 。对于任何线性算子 \(T\) ，有
\[ [T]_{\beta'} = Q^{-1} [T]_{\beta} Q \]
两个矩阵 \(A, B \in M_{n \times n}(F)\) 是相似 (similar) 的当且仅当存在可逆矩阵 \(Q\) 使得 \(B = Q^{-1} A Q\) 。
dual spaces
从线性空间 \(V\) 到其标量所在域 \(F\) 的线性映射 \(T \Colon V \to F\) 称作线性泛函 (linear functional) 。
对于有序基 \(\beta\) ，线性泛函 \(f_i(x) = e_i^t [x]_{\beta}\) 称为关于 \(\beta\) 的第 \(i\) 个坐标函数（？）。\(e_i^t\) 表示 \(e_i\) 的转置。
\(V\) 的对偶空间 (dual space) 定义为 \(V^* = \mathcal{L}(V, F)\) 。
\(\beta = \{x_1, x_2, \cdots, x_n\}\) 的对偶基 (dual basis) 为 \(\beta^* = \{f_1, f_2, \cdots, f_n\}\) 。\(\beta^*\) 是 \(V^*\) 的一个基。
对于线性映射 \(T \Colon V \to W\) 定义其转置 (transpose) \(T^t \Colon W^* \to V^*\) 为 \(T^t(g) = g \circ T\) 。有
\[ [T^t]_{\gamma^*}^{\beta^*} = ([T]_{\beta}^{\gamma})^t \]
对于 \(x \in V\) 定义 \(\widehat{x} \Colon V^* \to F\) 为 \(\widehat{x}(f) = f(x)\) 。事实上 \(x\) 与 \(\widehat{x}\) 一一对应，构成了 \(V\) 到 \(V^{\star\star}\) 的一个同构。
\(V^*\) 的有序基 \(\{f_1, f_2, \cdots, f_n\}\) 的对偶基为 \(\{\widehat{x_1}, \widehat{x_2}, \cdots, \widehat{x_n}\}\) 。
homogeneous linear differential equations with constant coefficients
略。
Chap. 3
elementary matrix operations and elementary matrices
初等行变换包括：
- 交换两行
- 将一行乘上一个非零数
- 将一行加上另一行乘一个数
同理有初等列变换，两者合称初等变换 (elementary operation) 。
对单位矩阵进行初等变换得到的矩阵称为初等矩阵 (elementary matrix) 。
进行初等行变换等价于左乘对应的初等矩阵，初等列变换等价于右乘对应的初等矩阵。
the rank of a matrix and matrix inverses
矩阵的秩 (rank) 定义为 \(\Rank(A) = \Rank(L_A)\) 。自然还有 \(\Rank(T) = \Rank([T]_{\beta}^{\gamma})\) 。
矩阵左乘或右乘一个可逆方阵秩都不变，这意味着初等变换是保秩的 (rank-preserving)。左乘或右乘一个任意矩阵，秩都不会变大。
矩阵的秩还是线性无关的最大行数或列数，即行或列代表的向量生成的子空间的维数。
每个可逆的 \(n \times n\) 矩阵都可以表示为若干初等矩阵的乘积。
\(n \times n\) 的矩阵可逆当且仅当秩为 \(n\) ，即满秩。
systems of linear equations - theoretical aspects
\(m\) 个方程 \(n\) 个变量的线性方程组可以表示为 \(Ax = b\) ，其中 \(A\) 是 \(m \times n\) 的系数矩阵 (coefficient matrix) ，\(x\) 和 \(b\) 分别是 \(n \times 1\) 和 \(m \times 1\) 的向量。
若 \(b = 0\) 则称方程组是齐次 (homogeneous) 的，此时解集为 \(N(L_A)\) ，因此找到解集只需要找到一组基。
对于非齐次方程组 \(Ax = b\) ，设 \(Ax = b\) 的解集为 \(K\) ，\(Ax = 0\) 的解集为 \(K_H\) ，以及一个任意解 \(s \in K\) ，那么有
\[ K = s + K_H = \{s + k | k \in K_H\} \]
增广矩阵 (augmented matrix) \((A | b)\) 是一个 \(m \times (n + 1)\) 的矩阵，通过简单地将两个矩阵拼接在一起。方程组有解当且仅当 \(\Rank(A) = \Rank(A | b)\) 。
systems of linear equations - computational aspects
两个方程组等价 (equivalent) 当且仅当解集相同。对于 \(m \times m\) 的可逆矩阵 \(C\) ，\(C A x = C b\) 总是等价的。即 \((A | b)\) 和 \(C (A | b)\) 表示的方程组等价。
咕咕咕。
Chap. 4
determinants of order 2
略。
determinants of order \(n\)
对于 \(A \in M_{n \times n}(F)\) ，行列式 (determinant) 通常记作 \(|A|\) 或 \(\det(A)\) 。
定义余子阵 \(\tilde{A}_{i,j}\) 为矩阵 \(A\) 去掉第 \(i\) 行第 \(j\) 列得到的矩阵。那么对于任意的一行 \(i\) 有
\[ |A| = \sum_{j=1}^n (-1)^{i+j} A_{i,j} |\tilde{A}_{i,j}| \]
或者对于任意的一列 \(j\) 有
\[ |A| = \sum_{i=1}^n (-1)^{i+j} A_{i,j} |\tilde{A}_{i,j}| \]
上述过程称为拉普拉斯展开，其中 \(c_{i,j} = (-1)^{i+j} |\tilde{A}_{i,j}|\) 称为代数余子式 (cofactor) 。
\(A\) 的伴随矩阵 \(A^{\star}\) 定义为 \(A^{\star}_{i,j} = c_{j,i}\) 。有 \(A A^{\star} = A^{\star} A = |A| I\) 。
properties of determinants
\(|A B| = |A| |B|\) ，这可以解释初等变换对行列式的影响。
\(A\) 可逆当且仅当 \(|A| \neq 0\) 。
对于方阵 \(A\) 和方程组 \(A x = b\) ，如果 \(|A| \neq 0\) 则 \(x = A^{-1} b\) 有唯一解且
\[ x_k = \frac{|M_k|}{|A|} \]
其中 \(M_k\) 是把 \(A\) 的第 \(k\) 列替换为 \(b\) 。（令 \(X_k\) 表示 \(I\) 的第 \(k\) 列替换为 \(x\) 则总有 \(A X_k = M_k\)）。
Chap. 5
eigenvalues and eigenvectors
一个非零向量 \(v \in V\) 是线性算子（或方阵） \(T\) 的特征向量 (eigenvector, characteristic vector) 当且仅当存在 \(\lambda \in F\) 使得 \(T(v) = \lambda v\) 。\(\lambda\) 就是 \(v\) 对应的特征值 (eigenvalue, characteristic value) 。
一个有限维线性空间的线性算子 \(T\) 是可对角化的 (diagonalizable) 当且仅当存在一组有序基 \(\beta\) 使得 \([T]_{\beta}\) 是对角矩阵，等价于存在一组由特征向量构成的基。方阵 \(A\) 可对角化当且仅当 \(L_A\) 可对角化。
方阵 \(A\) 的特征多项式 (characteristic polynomial) 为 \(p_A(x) = |A - x I|\) ，\(\lambda\) 是特征值当且仅当 \(p_A(\lambda) = 0\) ，非零向量 \(v\) 是 \(\lambda\) 对应的特征向量当且仅当 \((A - \lambda I) v = 0\) 。
相似矩阵的特征多项式和迹 (trace) 相同。线性算子 \(T\) 的特征多项式就是任意一个 \([T]_{\beta}\) 的特征多项式，\(\beta\) 是可以任意选取的一组基。\(v\) 是特征值 \(\lambda\) 对应的特征向量当且仅当 \(0 \neq v \in N(T - \lambda I)\) 。
\(v\) 是 \(T\) 的 \(\lambda\) 对应的特征向量当且仅当 \([v]_{\beta}\) 是 \([T]_{\beta}\) 的 \(\lambda\) 对应的特征向量。
diagonalizability
对于 \(a_i \in F\) 形如 \(a_0 \prod (x - a_i)\) 的多项式称为在 \(F\) 上可分解的 (split over \(F\)) 。如果 \(A\) 可对角化，其特征多项式 \(p_A(x)\) 总是可分解的。
\(\lambda\) 的重复度 (multiplicity) 定义为使得 \((x - \lambda)^m\) 是特征多项式因子的最大的 \(m\) 。
特征向量 \(\lambda\) 对应的特征空间 (eigenspace) 定义为所有对应的特征向量构成的子空间，即 \(E_{\lambda} = N(T - \lambda I)\) 或 \(E_{\lambda} = N(L_A - \lambda I)\) 。且有 \(1 \le \dim(E_{\lambda}) \le \mathrm{multiplicity}(\lambda)\) 。
可对角化当且仅当特征多项式可分解并且 \(\dim(E_{\lambda}) = \mathrm{multiplicity}(\lambda)\) 总是成立。
多个子空间的直和 \(W_1 \oplus W_2 \oplus \ldots \oplus W_k\) 存在当且仅当
\[ \forall 1 \le i \le k \;\; W_i \cap \sum_{j \neq i} W_j = \{0\} \]
\(V = W_1 \oplus W_2 \oplus \ldots \oplus W_k\) 和以下命题等价：
\(V = \sum_{i=1}^k W_i\) 且 \(\dim(V) = \sum_{i=1}^k \dim(W_i)\) 。
\(V = \sum_{i=1}^k W_i\) 且 \(\sum_{i=1}^k x_i = 0\) 仅有全零解 (\(x_i \in W_i\))。
对于任意的 \(v \in V\) ，\(v = \sum_{i=1}^k x_i\) 有唯一解 (\(x_i \in W_i\))。
对于 \(W_i\) 的任意线性无关集 \(S_i\) ，\(S_1 \cup S_2 \cup \ldots \cup S_k\) 也是线性无关集。
对于 \(W_i\) 的任意基 \(\beta_i\) ，\(\beta_1 \cup \beta_2 \cup \ldots \cup \beta_k\) 是 \(V\) 的一组基。
每个 \(W_i\) 总可以找到基 \(\beta_i\) 使得 \(\beta_1 \cup \beta_2 \cup \ldots \cup \beta_k\) 是 \(V\) 的一组基。
线性算子 \(T\) 可对角化当且仅当 \(V\) 是所有特征空间的直和。
matrix limits and markov chains
略。
invariant subspaces and the cayley-hamilton theorem
对于 \(V\) 上的线性算子 \(T\) 。\(V\) 的子空间 \(W\) 被称为 \(T\)-不变子空间 (\(T\)-invariant subspace) 当且仅当 \(T(W) \subset W\) 。
\(\Span(\{x, T(x), T^2(x), \ldots\})\) 称作 \(x\) 生成的 \(T\)-循环子空间 (\(T\)-cyclic subspace generated by \(x\)) 。\(T\)-循环子空间一定是 \(T\)-不变子空间。
对于 \(T\)-不变子空间 \(W\) ，\(T\) 在 \(W\) 上的限制 (restriction of \(T\) to \(W\)) 是 \(W\) 上的线性算子（记作 \(T|_{W}\)），且它的特征多项式是 \(T\) 的特征多项式的因子。
对于 \(x\) 生成的 \(k\) 维的 \(T\)-循环子空间 \(W\) ：
- \(\{x, T(x), T^2(x), \ldots, T^{k-1}(x)\}\) 是 \(W\) 的一组基。
- 对于 \(\sum_{i=0}^{k-1} a_i T^{i}(x) + T^k(x) = 0\) ，\(T|_W\) 的特征多项式为 \(f(t) = (-1)^k (\sum_{i=0}^{k-1} a_i t^i + t^k)\) 。
Cayley-Hamilton Theorem: 线性算子 \(T\) 的特征多项式 \(f(t)\) 满足 \(f(T) = T_0\) 。方阵 \(A\) 的特征多项式 \(p_A(t)\) 满足 \(p_A(A) = O\) 。
如果将 \(V\) 分解成多个不变子空间的直和 \(V = W_1 \oplus W_2 \oplus \ldots \oplus W_k\) ，那么线性算子 \(T\) 的特征多项式就是每个分解后的子空间上 \(T\) 的限制的特征多项式的乘积。
\[ f_T = f_{T|W_1} f_{T|W_2} \ldots f_{T|W_k} \]
方阵 \(B_1\) 和 \(B_2\) 的直和定义为
\[ B_1 \oplus B_2 = \begin{pmatrix} B_1 & O \\ O & B_2 \end{pmatrix} \]
Chap. 6 INNER PRODUCT SPACES
6.1 至 6.6 没有特殊说明仅仅讨论 \(F = \mathbb{R}\) 和 \(F = \mathbb{C}\) 。
inner products and norms
对于标量在 \(\mathbb{R}\) 或 \(\mathbb{C}\) 上的线性空间 \(V\) 。映射 \(\Inner{} \Colon V^2 \to F\) 称作内积 (inner product on \(V\)) 当且仅当满足：
- 对第一个元素线性：\(\Inner{c x_1 + x_2, y} = c \Inner{x_1, y} + \Inner{x_2, y}\) 。
- 共轭对称：\(\overline{\Inner{x, y}} = \Inner{y, x}\) 。
- \(x \ne 0 \Rightarrow \Inner{x, x} > 0\) （注意到共轭对称表明 \(\Inner{x, x} \in \mathbb{R}\)）
带有一个内积的线性空间被称为内积空间 (inner product space) 。有复内积空间 (complex inner product space) 和实内积空间 (real inner product space)。
\(V = F^n\) 的标准内积 (standard inner product) 定义为
\[ \Inner{x, y} = \sum_{i=1}^n x_i \overline{y_i} = y^* x \]
\(F = \mathbb{R}\) 时也称为点积，记作 \(x \cdot y\) 。
\(V = M_{n \times n}(F)\) 的弗罗比尼乌斯内积 (Frobenius inner product) 定义为
\[ \Inner{A, B} = \mathrm{tr}(B^* A) \]
其中 \(B^* = \overline{B^T}\) 定义为 \(B\) 的共轭转置。
内积还有如下性质：
- 对第二个元素有共轭线性 (conjugate linear) ：\(\Inner{x, c y_1 + y_2} = \overline{c} \Inner{x, y_1} + \Inner{x, y_2}\) 。
- \(\Inner{x, 0} = \Inner{0, x} = 0\)
- \(\Inner{x, x} = 0 \Leftrightarrow x = 0\)
- \((\forall x \in V \;\; \Inner{x, y} = \Inner{x, z}) \Rightarrow y = z\)
\(x\) 的范数 (norm) 或长度 (length) 可以定义为 \(\Norm{x} = \sqrt{\Inner{x, x}}\) 。
范数除了满足内积的线性性和非负性外，还满足两个不等式：
- Cauchy-Schwarz Inequality: \(\lvert\Inner{x, y}\rvert \le \Norm{x} \Norm{y}\)
- Triangle Inequality: \(\Norm{x + y} \le \Norm{x} + \Norm{y}\)
如果 \(\Inner{x, y} = 0\) 则称 \(x\) 和 \(y\) 是正交 (orthogonal) 或垂直 (perpendicular) 的。
满足 \(\Norm{v} = 1\) 的向量 \(v\) 称作单位向量 (unit vector) 。
集合 \(S\) 是正交的当且仅当其中任意两个元素都是正交的。由单位向量构成的正交集称为标准正交集 (orthonormal set)。如果集合是基，也叫标准正交基或规范正交基。
如果 \(x\) 和 \(y\) 是正交的，那么 \(\Norm{x + y}^2 = \Norm{x}^2 + \Norm{y}^2\) 。
the gram-schmidt orthogonalization process and orthogonal complements
如果 \(S\) 是 \(V \setminus \{0\}\) 的正交子集，那么 \(S\) 一定是线性独立的。并且如果 \(y \in \Span(S)\) 线性表示的系数由下式给出：
\[ y = \sum_{x \in S} \frac{\Inner{y, x}}{\Inner{x, x}} x \]
对于任意的线性独立集 \(S = \{w_1, w_2, \ldots, w_n\}\) ，都可以通过如下步骤得到正交集 \(S' = \{v_1, v_2, \ldots, v_n\}\) ：
\[ v_k = w_k - \sum_{j=1}^{k-1} \frac{\Inner{w_k, v_j}}{\Inner{v_j, v_j}} v_j \]
其中 \(\Span(S) = \Span(S')\) 。此过程称作格拉姆-施密特正交化 (Gram-Schmidt process) 。
对于 \(V\) 的标准正交基 \(\beta = \{v_1, v_2, \ldots, v_n\}\) 和 \(x \in V\) ，系数表示就是
\[ [x]_{\beta} = \begin{pmatrix} \Inner{x, v_1} \\ \Inner{x, v_2} \\ \vdots \\ \Inner{x, v_n} \\ \end{pmatrix} \]
\(S\) 的正交补 (orthogonal complement of \(S\)) 定义为 \(S^{\perp} = \{x \in V | \forall y \in S \;\; \Inner{x, y} = 0\}\) 。正交补一定是子空间。
对于有限维线性空间 \(V\) 和子空间 \(W\) ，\(\beta\) 是 \(W\) 的标准正交基，那么：
- \(\beta\) 可以扩展到 \(V\) 的标准正交基 \(\gamma\) 使得 \(\beta \subset \gamma\) 。
- \(\gamma \setminus \beta\) 是 \(W^{\perp}\) 的标准正交基。
- \(W \oplus W^{\perp} = V\) 。
the adjoint of a linear operator
对于有限维内积空间 \(V\) ，对于任意的线性泛函 \(g \in V^* = \mathcal L(V, F)\) 都可以找到一个 \(y \in V\) 使得 \(g(x) = \Inner{x, y}\) 。反之对于任意 \(y \in V\) 都可以找到这样一个线性泛函 \(g \in V^*\) 。
令 \(\phi \Colon V \to V^*\) 满足 \((\phi(y))(x) = \Inner{x, y}\) 。定义线性算子 \(T\) 的伴随映射 (adjoint) 为 \(T^*\) 满足 \(T^*(y) = \phi^{-1}(\phi(y) \circ T)\) ，即 \(\Inner{T(x), y} = \Inner{x, T^*(y)}\) 。
更一般地，任意一个线性映射 \(T \Colon V_1 \to V_2\) 都有伴随映射 \(T^* \Colon V_2 \to V_1\) 满足
\[ \forall x_1 \in V_1, x_2 \in V_2 \;\; \Inner{T(x_1), x_2}_2 = \Inner{x_1, T^*(x_2)}_1 \]
伴随映射对应于矩阵的共轭转置，对于 \(V_1, V_2\) 的标准正交基（注意不是任意基！） \(\beta_2, \beta_2\) 总是满足
\[ [T^*]_{\beta_2}^{\beta_1} = ([T]_{\beta_1}^{\beta_2})^* \]
对于 \(A \in M_{m \times n}(F), y \in F^m\) ，存在 \(x_0 \in F^n\) 使得 \(\Norm{Ax - y}\) 最小且满足 \((A^* A) x_0 = A^* y\) 。
\(\Rank(A^* A)\) 总是等于 \(\Rank(A)\) ，如果 \(\Rank(A) = n\) 则 \(x_0 = (A^* A)^{-1} A^* y\) 就可以使 \(\Norm{Ax - y}\) 取到最小值。
线性方程组 \(Ax = b\) 的最小解 (minimal solution) 是使得 \(\Norm{x}\) 最小的一个解。
对于任意线性映射 \(T\) 总有 \(R(T)^{\perp} = N(T^*)\) 。
所以找 \(Ax = A(s + y) = b, s \in R(L_{A^*}), y \in N(L_A)\) 的解就是找 \(As = b, s \in R(L_{A^*})\) 的解。如果有两个解 \(s_1, s_2\) ，那么 \(A(s_1 - s_2) = 0\) ，于是 \(s_1 - s_2 \in N(L_A)\) 得出矛盾，故解 \(s\) 是唯一的。
如果 \(Ax = b\) 有解，那么存在唯一的满足 \(s \in R(L_{A^*})\) 的解 \(s\) ，并且 \(s\) 恰是一个最小解。所以得到方程组 \((A A^*) x = b\) 的一个任意解 \(u\) 就可以得到最小解 \(s = A^* u\) 。
normal and self-adjoint operators
对于 \(T\) 的特征值 \(\lambda\) 和特征向量 \(v\) 有 \(v \in N(T - \lambda I) = R(T^* - \overline{\lambda} I)^{\perp}\) ，故 \(T^* - \overline{\lambda} I\) 不是满射，有非零的零空间。
对于内积空间 \(V\) 上的线性算子 \(T\) ，如果 \(\lambda\) 是 \(T\) 的特征值那么 \(\overline{\lambda}\) 就是 \(T^*\) 的特征值。
Schur 定理：如果 \(T\) 的特征多项式可分解，存在一个标准正交基使得 \([T]_{\beta}\) 是一个上三角矩阵。
如果 \(T T^* = T^* T\) 就称线性算子 \(T\) 是正规算子 (normal operator) ，如果 \(A A^* = A^* A\) 就称 \(A\) 是正规矩阵 (normal matrix) 。
\(V\) 上的正规算子 \(T\) 有如下性质：
- \(\Norm{T(x)} = \Norm{T^*(x)}\)
- \(T - c I\) 对任意 \(c \in F\) 总是正规的。
- \(T\) 的特征向量 \(x\) 也是 \(T^*\) 的特征向量，且特征值互为共轭。
- \(T\) 的特征值不同的两个特征向量总是正交的。
有限维复内积空间 \(V\) 上的线性算子 \(T\) 是正规的当且仅当存在由其特征向量构成的 \(V\) 的标准正交基。
由于 \(F = \mathbb{C}\) 根据代数基本定理 \(T\) 的特征多项式总是可分解的，因此存在一个标准正交基 \(\beta = \{v_1, v_2, \ldots, v_n\}\) 使得 \(A = [T]_{\beta}\) 是上三角矩阵，可以数学归纳法证明 \(v_k\) 总是特征向量因为 \[ T(v_k) - A_{kk} v_k = \sum_{j=1}^{k-1} \Inner{T(v_k), v_j} v_j = \sum_{j=1}^{k-1} \Inner{v_k, T^* (v_j)} v_j = \sum_{j=1}^{k-1} \Inner{v_k, \overline{A_{jj}} v_j} v_j = 0 \]
如果 \(T = T^*\) 就称 \(T\) 是自伴算子 (self-adjoint operator) ，如果 \(A = A^*\) 就称 \(A\) 是自伴矩阵 (self-adjoint matrix) 。显然自伴是比正规更强的限制。
\(V\) 上的自伴算子 \(T\) 有如下性质：
- \(T\) 的特征值都是实数。
- 即使 \(V\) 是实内积空间，\(T\) 的特征多项式也总是分解的。
有限维实内积空间 \(V\) 上的线性算子 \(T\) 是自伴的当且仅当存在由其特征向量构成的 \(V\) 的标准正交基。在实内积空间上，自伴的定义等价于对称 (symmetric) 。
如果 \(\Inner{T(x), x}\) 总是正数（非负数）且 \(T\) 自伴就称线性算子 \(T\) 是正定 (positive definite) （半正定 (positive semidefinite)）的。矩阵 \(A\) 的定义与 \(L_A\) 相同。
自伴算子 \(T\) 是正定（半正定）的当且仅当所有特征向量为正（非负）。
自伴矩阵 \(A\) 是半正定的当且仅当 \(A = B^* B\) ，其中 \(B\) 是一个同样大小的方阵。
unitary and orthogonal operators and their matrices
满足 \(\Norm{T(x)} = \Norm{x}\) 的线性算子称作等距同构或保距映射 (linear isometry) 。在有限维线性空间上 \(T\) 是等距同构当且仅当：
- \(T T^* = T^* T = I\)
- \(\forall x, y \in V \;\; \Inner{T(x), T(y)} = \Inner{x, y}\)
- 如果 \(\beta\) 是 \(V\) 的标准正交基那么 \(T(\beta)\) 也会是一个标准正交基。
- 存在标准正交基 \(\beta\) 使得 \(T(\beta)\) 也是标准正交基。
在有限维复内积空间上称作幺正算子或酉算子 (unitary operator) ，在有限维实内积空间上称作正交算子 (orthogonal operator) 。
有限维复（实）内积空间 \(V\) 上 \(T\) 是幺正算子（同时是正交算子和自伴算子）当且仅当存在 \(T\) 的特征值绝对值为 \(1\) 的特征向量构成的标准正交基。
方阵 \(A\) 是正交矩阵 (orthogonal matrix) 当且仅当 \(A^T A = A A^T = I\) ，是幺正矩阵 (unitary matrix) 当且仅当 \(A^* A = A A^* = I\) 。
对于实系数矩阵两个定义是等价的，此时通常采用正交矩阵描述。
\(A A^* = I\) 等价于 \(A\) 的行向量或列向量构成了标准正交基。
对于标准正交基 \(\beta\) ，\(T\) 是正交算子（幺正算子）当且仅当 \([T]_{\beta}\) 是正交矩阵（幺正矩阵）。
两个复系数方阵 \(A\), \(B\) 是幺正等价（？） (unitarily equivalent) 的当且仅当存在幺正矩阵 \(P\) 使得 \(A = P^* B P\) 。
两个实系数方阵 \(A\), \(B\) 是正交等价（？） (orthogonally equivalent) 的当且仅当存在正交矩阵 \(P\) 使得 \(A = P^T B P\) 。
复（实） 系数方阵是正规（自伴）的当且仅当与一个对角矩阵幺正（正交）等价。
Schur 定理：特征多项式可分解的复（实）系数方阵一定幺正（正交）等价于一个上三角矩阵。
复（实）系数方阵幺正（正交）等价的一个必要条件是各系数的绝对值的平方和相等。
若 \(A = P^* B P = P^{-1} B P\) 那么 \(\sum |A_{jk}|^2 = \mathrm{tr}(A^* A) = \mathrm{tr}(P^{-1} B^* B P) = \mathrm{tr}(B^* B) = \sum |B_{jk}|^2\) 。
orthogonal projections and the spectral theorem
对于任意 \(x \in V = W_1 \oplus W_2\) 可以表示为 \(x = x_1 + x_2\) ，其中 \(x_1 \in W_1, x_2 \in W_2\) ，那么 \(T(x) = x_1\) 这个线性映射称作 \(V\) 的在 \(W_1\) 上沿着 \(W_2\) 的投影 (projection of \(V\) on \(W_1\) along \(W_2\)) 。\(W_1 = R(T)\) 且 \(W_2 = N(T)\) 。\(T\) 是投影当且仅当 \(T = T^2\) 。
如果 \(W_1\) 与 \(W_2\) 互为正交补，\(T\) 被称为正交投影。如果 \(V\) 是内积空间，\(T\) 是正交投影当且仅当 \(T\) 是一个自伴的投影。
特征值的集合称为谱 (spectrum) 。
谱定理 (spectral theorem)：\(T\) 是有限维内积空间 \(V\) 的线性算子，\(F = \mathbb{C}\)（\(F = \mathbb{R}\)），有 \(k\) 个不同的特征值，\(W_j\) 是 \(\lambda_j\) 对应的特征空间，\(T_j\) 是 \(W_j\) 上的正交投影。如果 \(T\) 是正规（自伴）的，以下性质成立：
- \(V = W_1 \oplus W_2 \oplus \ldots \oplus W_n\)
- \(W_i^{\perp}\) 是除去 \(W_i\) 以外的其他特征空间的直和。
- \(T_j T_k = \delta_{jk} T_j\)
- \(T_1 + T_2 + \ldots + T_k = I\)
- \(\lambda_1 T_1 + \lambda_2 T_2 + \ldots + \lambda_k T_k = T\) 。这也称为 \(T\) 的谱分解 (spectral decomposition) 。
谱定理的推论：
- 如果 \(F = \mathbb{C}\) ，\(T\) 是正规的当且仅当 \(T^*\) 可以表示为 \(T\) 的多项式。
- 如果 \(F = \mathbb{C}\) ，\(T\) 是幺正的当且仅当 \(T\) 正规且特征值绝对值都是 \(1\) 。
- 如果 \(F = \mathbb{C}\) 且 \(T\) 正规，\(T\) 是自伴的当且仅当特征值都是实数。
- \(T_j\) 总可以表示为 \(T\) 的多项式。
the singular value decomposition and the pseudoinverse
奇异值定理 (Singular Value Theorem) ：对于有限维度内积空间 \(V\), \(W\) 和线性映射 \(T\) ，存在 \(V\), \(W\) 的标准正交基 \(\List{v}\) 和 \(\List[m]{u}\) 和唯一的一组非负数 \(\sigma_1 \ge \sigma_2 \ge \ldots \ge \sigma_{\min\{n,m\}}\) 使得：
\[ T(v_k) = \sigma_k u_k \]
其中 \(\sigma_k\) 便称作奇异值 (singular value) 。\(T^*\) 与 \(T\) 的奇异值完全相同且 \(T^*(u_k) = \sigma_k v_k\) 。
\(\Inner{T^*(u_j), v_k} = \Inner{u_j, T(v_k)} = \delta_{jk} \sigma_k\) 所以 \(T^*(u_j) = \sum \Inner{T^*(u_j), v_k} v_k = \sigma_j v_j\) 。
\(v_k, u_k\) 分别是 \(T^* T, T T^*\) 的特征值为 \(\sigma_k^2\) 的特征向量。
\(m \times n\) 的矩阵 \(A\) 的奇异值就是 \(L_A\) 的奇异值，奇异值定理的矩阵版本为 \(A\) 可以分解为 \(A = U \Sigma V^*\) ，其中 \(U, V\) 分别是 \(m \times m, n \times n\) 的幺正矩阵且 \(\Sigma_{ij} = \delta_{ij} \sigma_i\) 。该分解被称为奇异值分解 (singular value decomposition) 。
任意方阵 \(A\) 都有极分解 (polar decomposition) \(A = WP\) ，其中 \(W\) 是幺正矩阵且 \(P\) 是半正定矩阵。如果 \(A\) 可逆，极分解唯一。
奇异值分解后令 \(W = U V^*\), \(P = V \Sigma V^*\) 即可。
对于同域上的有限维内积空间 \(V, W\) 和其线性映射 \(T\) ，令 \(L \Colon N(T)^{\perp} \to R(T)\) 是 \(T\) 在 \(N(T)^{\perp}\) 上的限制。定义 \(T\) 的广义逆 (pseudinverse) 为 \(T^{\dagger}\) 满足
\[ T^{\dagger}(y) = \left\{\begin{aligned} L^{-1}(y), \;\; & y \in R(T) \\ 0, \;\; & y \in R(T)^{\perp} \end{aligned}\right. \]
\(T\) 可逆时自然 \(T^{\dagger} = T^{-1}\) 。对于奇异值分解的结果有
\[ \forall 1 \le k \le \Rank(T) \;\; T^{\dagger}(u_k) = \frac{1}{\sigma_k} v_k \]
矩阵 \(B\) 是 \(A\) 的广义逆当且仅当 \(L_B\) 是 \(L_A\) 的广义逆。对于奇异值分解 \(A = U \Sigma V^*\) 有 \(B = A^{\dagger} = V \Sigma^{\dagger} U^*\) ，其中 \(\Sigma\) 的广义逆为
\[ \Sigma^{\dagger}_jk = \left\{\begin{aligned} \frac{1}{\sigma_j}, \;\; & j = k \le \Rank(\Sigma) \\ 0, \;\; & otherwise \\ \end{aligned}\right. \]
对于 \(T \Colon V \to W\) ，\(T^{\dagger} T\) 是 \(V\) 的在 \(N(T)^{\perp}\) 上的正交投影，\(T T^{\dagger}\) 是 \(W\) 的在 \(R(T)\) 上的正交投影。
\(x \in N(T)^{\perp} \Rightarrow T^{\dagger} T(x) = L^{-1} L(x) = x\) 且 \(x \in N(T) \Rightarrow T^{\dagger} T(x) = 0\) 。
对于线性方程组 \(Ax = b\) ，如果有解那么 \(z = A^{\dagger} b\) 是唯一的最小解，否则 \(z\) 是唯一的最接近的解，也就是使得 \(\Norm{Ax - b}\) 最小的唯一解。
如果有解则 \(b \in R(L_A)\) 所以 \(A^{\dagger} Ax = z\) ，由于 \(A^{\dagger} A\) 对应于正交投影自然对于其他解 \(x = z + s\) 都有 \(\Norm{x}^2 = \Norm{z}^2 + \Norm{s}^2\) 。
bilinear and quadratic forms
对于 \(F\) 上的线性空间 \(V\) 。函数 \(H \Colon V \times V \to F\) 是双线性形式 (bilinear form) 当且仅当同时满足
- \(H(c x_1 + x_2, y) = c H(x_1, y) + H(x_2, y)\)
- \(H(x, c y_1 + y_2) = c H(x, y_1) + H(x, y_2)\)
所有双线性形式构成的集合记作 \(\mathcal{B}(V)\) 。\(\mathcal{B}(V)\) 也是一个 \(F\) 上的线性空间。
对于 \(V\) 的有序基 \(\beta = \List{v}\) 。\(H \in \mathcal{B}(V)\) 关于 \(\beta\) 的矩阵表示 (matrix representation of \(H\) with respect to \(\beta\)) 记作 \(\psi_{\beta}(H)\) ，满足 \({\psi_{\beta}(H)}_{ij} = H(v_i, v_j)\) 。
\(\psi_{\beta} \Colon \mathcal{B}(V) \to M_{n \times n} (F)\) 是一个同构。并且有
\[ H(x, y) = [x]_{\beta}^T \psi_{\beta}(H) [y]_{\beta} \]
\(M_{n \times n}(F)\) 的两个矩阵 \(A, B\) 是合同的 (congruent) 当且仅当存在可逆矩阵 \(Q \in M_{n \times n}(F)\) 使得 \(A = Q^T B Q\) 。
双线性形式也有坐标变换，对于坐标变换矩阵 \(Q = [I]_{\gamma}^{\beta}\) 有
\[ \psi_{\gamma}(H) = Q^T \psi_{\beta}(H) Q \]
\(H\) 可对角化定义为存在 \(\psi_{\beta}(H) = D\) 是对角矩阵。\(H\) 对称定义为 \(H(x, y) = H(y, x)\) 。
域 \(F\) 的特征 (characteristic) 定义为最小的正整数 \(p\) 使得 \(p\) 个 \(1_F\) 相加等于 \(0_F\) 。特别地，如果不存在这样的 \(p\) ，其特征定义为 \(0\) 。
双线性形式 \(H\) 可对角化的必要条件是 \(H\) 对称。如果 \(V\) 的标量域 \(F\) 特征不为 \(2\) ，则 \(H\) 对称是充要条件。
咕咕咕。