深度学习-必备的数学知识-线性代数6

大家好，欢迎来到IT知识分享网。

深度学习

必备的数学知识

线性代数

通过伪逆求解线性方程组

伪逆，又称为Moore-Penrose逆，它是一种广义的矩阵。我们可以找到任意一个矩阵的伪逆。矩阵$\mathbf{A}$的伪逆定义为：
$${\mathbf{A}}^{+}=\underset{x\to 0}{\lim }({\mathbf{A}}^T\mathbf{A}+\alpha \mathbf{I}{)}^{-1}{\mathbf{A}}^T$$
这个公式被称为Tikhonov正则化，或岭回归。计算矩阵伪逆的方法很多， 这是其中的一种。我们还可以通过奇异值（SVD）计算伪逆。
$${\mathbf{A}}^{+}=\mathbf{V}{\mathbf{D}}^{+}{\mathbf{U}}^T$$
其中$\mathbf{VDU}$分别对应于奇异值分解中的三个矩阵。

• $\mathbf{V}$是右奇异向量组成的矩阵
• ${\mathbf{D}}^{+}$是$\mathbf{D}$的伪逆，是一个以奇异值为对角元素的对角矩阵。对角矩阵的伪逆是通过取原矩阵的对角线上元素的倒数得到的
• $\mathbf{U}$是左奇异向量组成的矩阵

对于一个$m\times n$的矩阵$\mathbf{A}$,其伪逆${\mathbf{A}}^{+}$是一个$n\times m$的矩阵，${\mathbf{A}}^{+}$满足以下四个条件：

1. $\mathbf{A}{\mathbf{A}}^{+}\mathbf{A}=\mathbf{A}$
2. ${\mathbf{A}}^{+}\mathbf{A}{\mathbf{A}}^{+}={\mathbf{A}}^{+}$
3. $({\mathbf{A}}^{+}\mathbf{A}{)}^T={\mathbf{A}}^{+}\mathbf{A}$
4. $(\mathbf{A}{\mathbf{A}}^{+}{)}^T=\mathbf{A}{\mathbf{A}}^{+}$

在求解线性方程$\mathbf{Ax}=\mathbf{y}$时，如果$\mathbf{A}$是可逆的，那么我们可以通过
$$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$$
来求解，但是并不是每一个矩阵都存在逆矩阵。对于不可以使用矩阵逆求解的方程，我们可以使用伪逆进行求解。
伪逆的一个重要性质是$\mathbf{A}{\mathbf{A}}^{+}\mathbf{A}=\mathbf{A}$，
所以
$$\begin{gathered} \mathbf{Ax}=\mathbf{b} \\ \mathbf{A}{\mathbf{A}}^{+}\mathbf{Ax}=\mathbf{A}{\mathbf{A}}^{+}\mathbf{b} \\ \mathbf{Ax}=\mathbf{A}{\mathbf{A}}^{+}\mathbf{b} \\ \mathbf{x}={\mathbf{A}}^{+}\mathbf{b} \end{gathered}$$
$\mathbf{x}={\mathbf{A}}^{+}\mathbf{b}$的解是满足$||\mathbf{Ax}-\mathbf{b}|{|}_2$最小的解,换句话说$\mathbf{x}={\mathbf{A}}^{+}\mathbf{b}$的解是方程所有可行性解中欧几里得距离$||x|{|}_2$最小的一个

迹运算

行列式

矩阵特征值的乘积称为行列式，记作$det(A)$或$|\mathbf{A}|$。
行列式有着许多重要的性质和应用：

• 行列式可以帮助我们判断一个矩阵是否可逆，如果一个矩阵的行列式为0，那么这个矩阵是不可逆的，如果一个矩阵的行列式不为0，那么这个矩阵是可逆的
• 行列式可以用来计算一个矩阵的伪逆
• 等等

如有问题 恳请指正
持续更新中…