工科高等代数4.7

241 words

1 minute

工科高等代数4.7

2026-04-07

/

数学

$f(x)=\sum_{j=1}^{n}c_j\phi_j(x)$ $\{x_i,y_i\}_{i=1}^{m}\to f\to \{c_j\}_{j=1}^{n}$ $f(x_i)\to y_i$ $\sum_{j=1}^{n}c_j\phi_j(x_i)\to y_i$

\begin{align} \begin{bmatrix} \phi_1(x_i)&\phi_2(x_i)&\dots&\phi_n(x_i)\\ \end{bmatrix} \begin{bmatrix} c_1\\ c_2\\ \dots\\ c_n\\ \end{bmatrix} =y_i \end{align}

$y=f(x)+\varepsilon$ $\sum_{i=1}^{m}|y_i-f(x_i)|^2=\|Y-Ac\|_2^2$ $\min_{c\in R^n}\frac{1}{2}\|Y-Ac\|_{2}^{2}$ $f(c)=\frac{1}{2}\|Y-Ac\|_2^2$ $f(x)=x_1^2+x_1x_2$ $\frac{\partial f}{\partial x_1}=2x_1+x_2$ $\frac{\partial f}{\partial x_2}=x_1$

\begin{align} \nabla_{x}f(x)= \begin{bmatrix} 2x_1+x_2\\ x_1 \end{bmatrix} \end{align}

\begin{align} A= \begin{bmatrix} a_{11}&a_{12}\\ a_{21}&a_{22}\\ \end{bmatrix}\\ f(A)=a_{11}^2+a_{22}^2+a_{11}a_{21},A\in R^{2\times 2}\\ \frac{\partial f}{\partial a_{11}}=2a_{11}+a_{21},& \frac{\partial f}{\partial a_{12}}=0\\ \frac{\partial f}{\partial a_{21}}=a_{11},& \frac{\partial f}{\partial a_{22}}=2a_{22}\\ \nabla_{A}f(x)= \begin{bmatrix} 2a_{11}+a_{21}&0\\ a_{11}&2a_{22}\\ \end{bmatrix} \end{align}

$f(X)=tr(AX),A,X\in R^{n\times n}$ $f(X)=\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}x_{ji}$ $\frac{\partial f}{\partial x_{ij}}=a_{ji}$ $\nabla_{X}f(X)=A^{T}$ $f(x)=x^TA^TAx,x\in R^n,A\in R^{m\times n}$

\begin{align} Ax= \begin{bmatrix} \sum_{j=1}^{n}a_{1j}x_j\\ \sum_{j=1}^{n}a_{2j}x_j\\ \dots\\ \sum_{j=1}^{n}a_{mj}x_j\\ \end{bmatrix}\\ f(x)=\sum_{i=1}^{m}(\sum_{j=1}^{n}a_{ij}x_j)^2\\ \frac{\partial f}{\partial x_{j}}= \end{align}

\begin{align} f(x)&=\sum_{i=1}^{m}(\sum_{j=1}^{n}a_{ij}x_j)^2\\ &=\sum_{i=1}^{m}(x_{k}^2a_{ik}^2+\sum_{j=1,j\neq k}^{n}2a_{ij}a_{ik}x_jx_k)\\ \frac{\partial f}{\partial x_k}&=\sum_{i=1}^{m}(2a_{ik}^2x_k+2\sum_{j=1,j\neq k}^{n}a_{ij}a_{ik}x_j)\\ &=2\sum_{i=1}^{m}a_{ik}\sum_{j=1}^{n}a_{ij}x_j\\ \end{align}

$B=A^TA$

\begin{align} \nabla_{x}(x^TBx)=(B+B^T)x=2A^TAx \end{align}

\begin{align} f(c)&=\frac{1}{2}\|Y-Ax\|_2^2\\ &=\frac{1}{2}(Y-Ac)^T(Y-Ac)\\ &=\frac{1}{2}(Y^TY-Y^TAc-c^TA^TY+c^TA^TAc) \end{align}

\begin{align} \nabla_cf(c)&=\frac{1}{2}(0-A^TY-A^TY+2A^TAc)\\ &=A^TAc-A^TY\\ A^TAc&=A^TY\\ \end{align}

$A\in R^{m\times n},m>n,rank(A)=r$ $Ac=Y$ 可能没有解，系数多 $A^TAc=A^TY$ 好解，规模小 $rank(A)=n,c=(A^TA)^{-1}A^TY$ $A=u\Sigma v^T$

\begin{align} c&=(u\Sigma v^Tv\Sigma^T u^T)^{-1}(v\Sigma^T u^T)Y\\ &=(u\Sigma\Sigma^T u^T)^{-1}v\Sigma^T u^TY\\ &=A^{\dagger}Y\\ \end{align}

$\kappa(A)=\frac{\sigma_{1}(A)}{\sigma_{r}(A)}$ $\kappa(A^TA)=\frac{\sigma_{1}(A^TA)}{\sigma_{r}(A^TA)}=\frac{\sigma_{1}^2(A^TA)}{\sigma_{r}^2(A^TA)}=\kappa^2(A)$ $QR$ 分解 $A=QR$ $R^TQ^TQRc=R^TQ^TY$ $R^TRc=R^TQ^TY$ $\kappa(A)=\kappa(R)$ 如果 $rank(A)=n,R$ 可逆 $Rc=Q^TY,c=R^{-1}Q^TY$ 样本 $PCA$ 找到数据集的一个低维表示形式 $x_1,x_2,\dots,x_N\in R^d$ 考虑线性降维，令 $z_1,z_2,\dots,z_M$ 是数据集的 $M$ 哥线性表示形式 $z_m=\sum_{j=1}^Nc_{jm}x_j$ 其中 $c_{1m},c_{2m},\dots,c_{Nm}$ 是常数，若标准化的线性组合中 $z_1$ 具有最大的方差，则称为 $x_1,x_2,\dots,x_N$ 的第一主成分，对应的单位向量 $[c_{11},c_{21},\dots,c_{N1}]^T$ 称为第一主成分的载荷量。

工科数学分析-4.9

工科数学分析-4.2