特征值

若对于 $n$ 阶方阵 $A$ ，存在 $\lambda$ 和 $x$ 满足 $Ax=\lambda x$，则称 $\lambda$ 为 $A$ 的特征值， $x$ 为 $A$ 的特征向量。特征值和特征向量包含了一个矩阵所表示的线性变换是如何发生的信息。例如，一个等于 $2$ 的特征值和一个等于 $(0,1)$ 的特征向量表示矩阵所代表的线性变换会把向量沿 $(0,1)$ 的方向上拉伸到原来的两倍。不难发现，若 $x$ 是 $A$ 的一个特征向量，那么 $x$ 的非零倍数也是 $A$ 的一个特征向量。因此，一个矩阵只能有有限个特征值，但可以有无限个特征向量。下面我们说到特征向量的数量时，均指矩阵的线性无关的特征向量的数量。

如果给 $A$ 加上单位矩阵的倍数，那么有 $(A+kI)x=(\lambda +k)x$ ，因此加上$kI$ 会使所有特征值变大 $k$，但不改变特征向量。

逆矩阵的特征值是原矩阵的倒数，从几何意义上很容易理解。

特征值的求法

将 $Ax=\lambda x$ 进行移项，可以得到：

$$(A-\lambda I)x=0$$

由于 $x\ne 0$ ，因此 $A-\lambda I$ 是奇异的。所以可以得到 $|A-\lambda I|=0$，通过解这个关于 $\lambda$ 的 $n$ 次多项式就可以得到所有 $A$ 的特征值了。再将 $\lambda$ 代回上面的式子中，消元即可得到 $x$ 的解。

在求解特征值的过程中，我们得到了一个关于 $\lambda$ 的多项式，这个多项式称为 $A$ 的特征多项式，对应的方程称为特征方程。矩阵的特征方程是一个多项式，因此可以用韦达定理来得到它的和与积。下面不加证明地给出两个性质：

1. 特征值之积等于行列式的值
2. 特征值之和等于矩阵的迹

其中，矩阵的迹被定义为矩阵对角线上元素之和，即 $trace(A)=\sum _{i=1}^n{A}_{ii}$ 。

根据代数基本定理，一个 $n$ 阶矩阵在复数域上应该恰好有 $n$ 个特征值。这些特征值不一定都是实的，因此实矩阵也会有复的特征值。

在上一节曾提到，实的特征值代表线性变化将向量沿特征向量的方向进行了拉伸，那么虚的特征值代表什么呢？和 $e^x$ 类似，虚的特征值代表将向量沿特征值方向进行旋转。更统一地，对于一个复特征值，它的模长代表了沿特征向量方向拉伸或压缩的倍数，幅角则对应了旋转的角度。

根据虚根成对定理，实矩阵的复特征值总是成对出现的，即若 $\lambda$ 是 $A$ 的特征值，则其共轭复数 $\bar{\lambda }$ 也是 $A$ 的特征值。

特征值分解

若 $n$ 阶方阵 $A$ 有 $n$ 个不同的特征值和特征向量 ${\lambda }_i,x_i,i\in \{1,2,...,n\}$，则可以把 $n$ 个特征向量按照特征值从大到小放在一个矩阵中，将 $Ax=\lambda x$ 写成下面的形式：

$$AS=S\mathrm{\Lambda }$$

其中有：

$$\begin{array}{r}S=[x_1,x_2,...,x_n],\mathrm{\Lambda }=\left[\begin{array}{ccccc}{\lambda }_1& 0& 0& ...& 0\\ 0& \lambda 2& 0& ...& 0\\ ...& & & \ddots & 0\\ 0& 0& 0& ...& {\lambda }_n\end{array}\right]\end{array}$$

由于 $n$ 个特征向量线性无关，因此 $S$ 可逆，故有：

$$A=S\mathrm{\Lambda }{S}^{-1}$$

特征值分解的几何意义

矩阵在欧几里得空间下可以看作是对基向量的变换，即矩阵 $B=[y_1,y_2,...,y_n]$ 会将 $x$ 变换成以 $y_1,y_2,...,y_n$ 为基底的向量。特征值分解则把一个线性变化分成三步：

1. 将向量变换到以特征向量为基底的向量
2. 将变换后的向量在各个特征向量的方向上按照特征值进行拉伸/旋转
3. 将基底变换回去

对角化

对角化是指将矩阵分解为下面形式的过程：

$$A=PD{P}^{-1}$$

其中 $D$ 是一个对角矩阵(diagonal matrix)，即只有对角线上有非零值的矩阵。可以看出，特征值分解是对矩阵进行对角化的一种方法。

矩阵的幂

将矩阵特征值分解后，计算矩阵的幂就非常方便了：

$$A^n=(S\mathrm{\Lambda }{S}^{-1}{)}^n=S{\mathrm{\Lambda }}^n{S}^{-1}$$

其中对角矩阵 $\mathrm{\Lambda }$ 的幂是非常好计算的：

$${\mathrm{\Lambda }}^n=\left[\begin{array}{ccccc}{\lambda }_1^n& 0& 0& ...& 0\\ 0& {\lambda }_2^n& 0& ...& 0\\ ...& & & \ddots & 0\\ 0& 0& 0& ...& {\lambda }_n^n\end{array}\right]$$

微分方程与矩阵指数函数 $e^A$

对于一个线性系统，若满足：

$$\frac{dx}{dt}=Ax$$

求解这个微分方程可以得到：

$$x=x_0{e}^{At}$$

根据泰勒展开可以得到：

$$\begin{array}{rl}{e}^x& =\sum _{k=0}^{\mathrm{\infty }}\frac{x^k}{k!}\\ & =1+x+\frac{x^2}{2}+...+\frac{x^k}{k!}+...\end{array}$$

将这个定义延展到矩阵中，就得到了 $e^A$ 的定义：

$$\begin{array}{rl}{e}^A& =\sum _{k=0}^{\mathrm{\infty }}\frac{A^k}{k!}\\ & =1+A+\frac{A^2}{2}+...+\frac{A^k}{k!}+...\end{array}$$

将 $A$ 进行特征值分解：$A=S\mathrm{\Lambda }{S}^{-1}$，有：

$$\begin{array}{rl}{e}^A& =\sum _{k=0}^{\mathrm{\infty }}\frac{(S\mathrm{\Lambda }{S}^{-1}{)}^k}{k!}\\ & =\sum _{k=0}^{\mathrm{\infty }}\frac{S{\mathrm{\Lambda }}^k{S}^{-1}}{k!}\\ & =S\left(\sum _{k=0}^{\mathrm{\infty }}\frac{{\mathrm{\Lambda }}^k}{k!}\right)S^{-1}\\ & =S\left[\begin{array}{ccccc}{e}^{{\lambda }_1}& 0& 0& ...& 0\\ 0& e^{{\lambda }_2}& 0& ...& 0\\ ...& & & \ddots & 0\\ 0& 0& 0& ...& e^{{\lambda }_n}\end{array}\right]S^{-1}\end{array}$$

因此：

$$e^{At}=e^t\ast e^A=S\left[\begin{array}{ccccc}{e}^{t{\lambda }_1}& 0& 0& ...& 0\\ 0& e^{t{\lambda }_2}& 0& ...& 0\\ ...& & & \ddots & 0\\ 0& 0& 0& ...& e^{t{\lambda }_n}\end{array}\right]S^{-1}$$