定理：每个$m\times n$实矩阵$A$都可以写成#

$A=PSQ^{T}$
其中$P,Q$是$m$阶与$n$阶正交矩阵，

$r=rank(A),\sigma_1\ge\sigma_2\ge...\ge...\sigma_r\ge0$
其中$\sigma_i$为$A^TA$正特征值的算术平方根
$S$为$A$的奇异矩阵，$\sigma_i$为$A$的奇异值，对应的向量为奇异向量
设$A$为$m\times n$实矩阵，由于$AA^T$实对称
存在正交矩阵$P$使得

且$AA^T$的特征值非负：
$\lambda_1\ge\lambda_2\ge...\ge\lambda_r>\lambda_{r+1}=...=0$
由

知$A^TP$的列向量$A^T\beta,...,A^T\beta_m$
两两正交且长度分别为
$\sqrt{\lambda_1},...,\sqrt{\lambda_r},0,...,0$
令$\gamma_i=\frac{1}{\sqrt{\lambda_i}}A^T\beta_i$
则$\gamma_1,...,\gamma_r$可扩充成$R^n$的标准正交基
$\gamma_1,...,\gamma_r,...,\gamma_n$

解方程即可
记正交矩阵$Q=[\gamma_1,...,\gamma_n]$我们有

故每个$m\times n$实对称$A$都能写成

空间$r+rn+rm->O((m+n)r)$
后面的奇异值很小接近零，

在秩$k$的限制下矩阵$A$的最佳逼近：#

$A_k=\sqrt{\lambda_1}\beta_1\gamma_1^T+\sqrt{\lambda_2}\beta_2\gamma_2^T+...+\sqrt{\lambda_k}\beta_k\gamma_k^T\rightarrow A$

由

得
$A[A^T\beta_1,A^T\beta_2,...,A^T\beta_r]=[\lambda_1\beta_1,\lambda_2\beta_2,...,\lambda_r\beta_r]$
$A[\gamma_1,\gamma_2,...,\gamma_r]=[\sqrt{\lambda_1}\beta_1,\sqrt{\lambda_2}\beta_2,...,\sqrt{\lambda_r}\beta_r]$

例：求下矩阵$SVD$分解#

定理：#

$A=PSQ^T=(PQ^T)QSQ^T$
每个实方阵都可以写成一个正交矩阵与一个实对称矩阵的乘积
实矩阵的$M-P$广义逆：若$A=PSQ^T$,则

证明：

设$A\in R^{m\times n}$，定义$P=AA^{\dagger}$.证明$P$是$col(A)$的正交投影算子：#

$P^2=P,P^T=P,range(P)=col(A)$
$P^{2}=AA^{\dagger}AA^{\dagger}=(AA^{\dagger}A)A^{\dagger}=AA^{\dagger}=P$
$P^{T}=(AA^{\dagger})^{T}=AA^\dagger=P$
对$\forall x\in R^n$
$Px=AA^\dagger x=A(A^\dagger x)\in col(A)$
则$range(P)\subseteq col(A)$
对$y\in col(A),\exists z,st.y=Az$
$Py=AA^{\dagger}Az=Az=y$
则$col(A)\subseteq range(P)$
故$range(P)=col(A)$

线性算子 $A$#

$A(\alpha_{1}x_{1}+\alpha_{2}x_2)=\alpha_{1}Ax_1+\alpha_2Ax_2$

$Big-\mathcal{O}$#

$f(n)=\mathcal{O}(g(n))$
$f(n)\le Cg(n),\exists C>0$
$1<\log n<n<n\log n<n^2<2^n$