工科高等代数3.31

266 words

1 minute

工科高等代数3.31

2026-03-31

工高代

数学，线性代数

/

数学

证明( $MP$ 广义逆的唯一性)#

设 $X$ 和 $Y$ 都是 $MP$ 广义逆
$(1)X=XAX\to col(X)\subseteq col(XA)$
又
$col(XA)\subset col(X)\to col(X)=col(XA) \to row(XA)\subseteq row(A)$
$(2)A+AYA\to A(I-YA)=0$

\begin{align} &\to col(I-YA)\subseteq ker(A)={x|x\perp row(A)}\\ &\to col(A-YA)\perp col(X)\\ &\to(I-YA)X=0\\ &\to X=YAX \end{align}

$(3)Y=YAY\to row(Y)\subseteq row(AY\to col(AY)\subseteq col(A)$
$(I-AX)A=0\to A^T(I-AX)=0$

\begin{align} &\to col(I-YA)\subseteq ker(A^T)=[row(A^T)]^{\perp}=[col(A)]^{\perp}\\ &\to row(Y)\perp col(I-AX)\\ &\to(I-AX)Y^T=0\to Y(I-AX)=0\\ &\to Y=YAX \end{align}

范数#

$(a)||\vec{v}||\ge 0,||\vec{v}||=0\leftrightarrow \vec{v}=\vec{0}$
$(b)||\alpha\vec{v}||=|\alpha|||\vec{v}||,\forall \alpha\in R$
$(c)||\vec{u}+\vec{v}||\le||\vec{v}||+||\vec{u}||$

$p$ 范数#

$||\vec{v}||_{p}=(\sum_{i=1}^{m}|v_i|^{p})^{\frac{1}{p}}$
$HW$ 证明 $p$ 范数

$\infty$ 范数#

$||\vec{v}||_{\infty}=max_{1\le i\le m}|v_{i}|$
范数等价
$c_1||\vec{v}||_{\beta}\le||\vec{v}||_{\alpha}\le c_2||\vec{v}||_{\beta}$

\begin{cases} ||\vec{v}||_{\infty}\le||\vec{v}||_{1}\le m||\vec{v}||_{\infty}\\ ||\vec{v}||_{\infty}\le||\vec{v}||_{2}\le \sqrt{m}||\vec{v}||_{\infty}\\ \frac{1}{\sqrt{m}}||\vec{v}||_{1}\le||\vec{v}||_{2}\le||\vec{v}||_{1} \end{cases}

矩阵范数#

$(i)(ii)(iii)$ 同上
$(iv)\|AB\|\le\|A\|\|B\|$
$\|A\|_{2}=\max_{\|x\|_{2}=1}\|Ax\|_{2}=\sigma_{max}(A)$
$\|A\|=\max_{\|\vec{v}\|=1}\|A\vec{v}\|$
$\|A\|_{\alpha\to\beta}=\max_{\|\vec{v}\|_{\alpha}=\beta}\|A\vec{v}\|_{\alpha}$
$(1)\|A\|_{1}=\max_{\|\vec{v}\|_{1}=1}\|A\vec{v}\|_{1}=\max_{j}(\sum_{i=1}^{m}|a_{ij}|)$

\begin{align} \|A\vec{v}\|_{1}&=\sum_{i=1}^{n}|a_{i,1}v_{1}+\dots+a_{i,n}v_{n}|\\ &=\sum_{i=1}^{m}|\sum_{j=1}^{n}a_{i,j}v_j|\\ &\le\sum_{i=1}^{m}\sum_{j=1}^{n}|a_{i,j}||v_j|\\ &=\sum_{j=1}^{n}\sum_{i=1}^{n}|a_{i,j}||v_j|\\ &=\sum_{j=1}^{n}|v_j|\sum_{i=1}^{n}|a_{i,j}|\\ &\le \max_{j}(\sum_{i=1}^{n}|a_{i,j}|) \end{align}

$\vec{v}$ 在最大列的的分量为 $1$ 时取最大
$(2)\|A\|_{\infty}=\max_{\|\vec{v}\|_{\infty}=1}\|A\vec{v}\|_{\infty}=\max_{1\le j\le m}(\sum_{i=1}^{n}|a_{ij}|)(HW)$
最大列和
$(3)\|A\|_{2}=\max_{\|\vec{v}\|_{2}=1}\|A\vec{v}\|_{2}=\sqrt{\lambda_{max}(A^TA)}$

$F$ 范数#

$\|A\|_{F}=\sqrt{\sum_{i,j}a_{i,j}^{2}}$
not a an operator norm.
$\|A\|_{F}=\sqrt{tr(A^TA)}=\sqrt{\sum_{i=1}^{n}\sigma_{i}^2}=\langle A,A\rangle$

\begin{cases} \|A\|_{2}\le\|A\|_{F}\le \sqrt{rank(A)}\|A\|_{2}\\ \|A\|_{2}\le \sqrt{\|A\|_{1}\|A\|_{\infty}}\\ \|A\|_{\infty}\le \sqrt{n}\|A\|_{2},\|A\|_{1}\le \sqrt{m}\|A\|_{2} \end{cases} (HW)

$Eckhart-Young$ 定理#

$k<r=rank(A),A_{k}=\sum_{i=1}^{k}\sigma_{i}u_{i}v_{i}^{T}$
$\min_{rank(B)=k}\|A-B\|_{2}=\|A-A_{k}\|=\sigma_{k+1}$

$U^{T}A_{k}V=diag\{\sigma_1,\dots,\sigma_{k},0,\dots,0\}$
$U^{T}(A-A_{k})V=diag\{0,\dots,0,\sigma_{k+1},\dots,\sigma_p\}$
故 $\|A-A_{k}\|_{2}=\sigma_{k+1}$
设 $rank(B)=k$ ， $B$ 的零空间 $null(B)=span\{x_{1},\dots,x_{n-k}\}$
$span\{x_{1},\dots,x_{n-k}\}\cap span\{v_{1},\dots,v_{k+1}\}\neq0$
令 $z$ 为其交集的单位向量

\begin{align} \|(A-B)z\|_{2}&=\|Az\|_{2}\\ &=\|(\sum_{i=1}^{p}\sigma_iu_iv_{i}^{T})z\|_{2}\\ &=\|(\sum_{i=1}^{k+1}\sigma_iu_iv_{i}^{T})z\|_{2}\\ \|(A-B)\|_{2}^{2}&\ge\|Az\|_{2}^{2}=\sum_{i=1}^{k+1}\sigma_i^2(v_i^Tu_i)^2\ge\sigma_{k+1}^2 \end{align}

$\min_{rank(B)}\|A-B\|_{F}=\sqrt{\sigma_{k_1}^2+\dots+\sigma_{p}^2}$

$CUR$ 分解#

$A\in R^{m\times n},rank(A)=k,I\subset[m],J\subset[n],|I|=t\ge k,|J|=s\ge k$
$C=A(:,J),R=A(I,:),U=A(I,J)$
如果 $rank(U)=rank(A)$ 则
$A=CU^{\dagger}R$
证明待补
线性系统

\begin{cases} A(x+\delta x)=b+\delta b\\ Ax=b \end{cases}

$A\delta x=\delta b$

\begin{align} \|\delta b\|_{2}&=\|A\delta x\|_{2}\\ &\le\|A\|_{2}\|\delta x\|_{2}\\ \|\delta x\|_2&\ge\|A\|_2^{-1}\|\delta b\|_2\\ \|\delta x\|_2&=\|A^{-1}\delta b\|_2\\ &\le \|A^{-1}\|_{2}\|\delta b\|_{2} \end{align}

故(假设 $A$ 可逆)
$\frac{\|\delta x\|_2}{\|x\|_2}\le \|A^{-1}\|_2\|A\|_2\frac{\|\delta b\|_2}{\|b\|_2}=\kappa(A)\frac{\|\delta b\|_2}{\|b\|_2}=\frac{\sigma_1}{\sigma_n}\frac{\|\delta b\|_2}{\|b\|_2}$
若 $A$ 不可逆
$\kappa(A)=\frac{\sigma_1}{\sigma_r}=\|A\|_2\|A^{\dagger}\|_2$

最小二乘法#

$A\vec{c}=\vec{y}$

\begin{align} \min_{\vec{c}\in R^n}(\|A\vec{c}-\vec{y}\|_2^2)&=(A\vec{c}-\vec{y})^T(A\vec{c}-\vec{y})\\ &=\vec{c}^TA^TA\vec{c}-2\vec{c}^TA^T\vec{y}+\vec{y}^T\vec{y} \end{align}

$f:R^{m\times n}\to R,X\in R^{m\times n}$
$\nabla_{X}f(X)$ 为与 $X$ 维度完全相同的矩阵
$[\nabla_{X}f(X)]_{ij}=\frac{\partial f}{\partial X_{ij}}$
$(1)f(\vec{x})=\vec{a}^T\vec{x},\nabla_{\vec{x}}(\vec{a}^T\vec{x})=\vec{a}$
$(2)f(\vec{x})=\vec{x}^T\vec{y},f(\vec{x})=\vec{y}^T\vec{x},\nabla_{\vec{x}}(\vec{x}^T\vec{y})=\nabla_{\vec{x}}(\vec{y}^T\vec{x})=\vec{y}$
$(3)f(\vec{x})=\vec{x}^T\vec{x},\nabla_{\vec{x}}(\vec{x}^T\vec{x})=2\vec{x}$
$(4)f(\vec{x})=\vec{x}^TA\vec{x},\nabla_{\vec{x}}(\vec{x}^TA\vec{x})=(A+A^T)\vec{x}$