对称矩阵和厄米特矩阵

对称矩阵（symmetric matrix） 指转置和自身相等的矩阵：若矩阵 $A$ 满足 $A=A^T$，那么 $A$ 就是对称的。更通俗易懂地说，对称矩阵就是沿主对角线轴对称的矩阵。

任何矩阵和其转置的和与乘积都是对称的。以 $A^TA$ 为例，$(A^TA)^T = A^T(A^{TT})=A^TA$ 。

对于一个复矩阵，把上面描述中的转置改为共轭转置，就可以得到厄米特矩阵（Hermitian matrix） 。对称矩阵也可以看作是厄米特矩阵的特例。

对称矩阵的特征值与特征向量

对称矩阵和厄米特矩阵有一个很好的性质，它们的特征值都是实的，并且特征向量相互正交。实的特征值很好证明，设 $\lambda$ 和 $x$ 是厄米特矩阵 $A$ 的特征值和特征向量，有：

$$
Ax=\lambda x
$$

同时共轭转置后有：

$$
x^HA^H=\overline\lambda x^H
$$

再相乘：

$$
x^HA^Hx = \overline\lambda x^Hx=x^H\overline\lambda x
$$

因为 $A^H = A$，故

$$
x^HAx = x^H\lambda x=x^H\overline\lambda x
$$

因此 $\overline\lambda=\lambda$ 。

而对于特征向量垂直的性质，可以参考谱定理

正定矩阵

正定矩阵（positive-definite matrix） 是特征值都为正的对称矩阵（或厄米特矩阵）。相对应地，特征值都非负的矩阵称为 半正定矩阵（positive-semidefinite matrix） 。

正定矩阵所对应的二次型 $x^TAx$ 恒大于 $0$，这也是正定矩阵的正式定义：若一个矩阵对任何向量 $x$ 都满足 $x^TAx > 0$ ，则称为正定矩阵。相对应地还可以定义负定矩阵。

相似矩阵

如果两个矩阵 $A$ , $B$ 满足存在一个可逆矩阵 $M$ 使得 $A = M^{-1}BM$ ，那么称 $A$ 和 $B$ 相似。

相似矩阵具有具有相同的特征值。设 $\lambda$ 和 $x$ 是 $A$ 的特征值和特征向量，那么 $Ax = \lambda x$ 。代入 $A = M^{-1}BM$，得 $M^{-1}BMx=\lambda x$，同时左乘 $M$ 得 $BMx=\lambda Mx$。因此 $\lambda$ 也是 $B$ 的特征值。

相似矩阵的 “相似” 意味着两个矩阵对应的线性变换是相似的，只是使用的基底不一样。例如，$\begin{bmatrix} 2 & 0 \\ 0 & 3\end{bmatrix}$ 和 $\begin{bmatrix} 3 & 0 \\ 0 & 2\end{bmatrix}$ 是相似的，它们都将向量沿两个不同方向分别拉伸 $2$ 和 $3$ 倍，只是方向不同。