最大似然估计和最大后验估计是两种通过概率方法确定或优化机器学习模型参数的方法。

最大似然估计

通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值 。为了介绍最大似然估计，我们先介绍 似然 的概念。

似然是和概率相似但不完全相同的概念。对于机器学习中的一组参数 $\theta$ ，它的似然是在这组参数下，观察到某组数据的可能性：

$$L(\theta |x)=P_{model}(x|\theta )$$

其中 $L(\theta |x)$ 是 似然函数 。似然函数越大，在这组参数下出现 $x$ 的概率就越大，说明这组参数也越合理。

最大似然估计就是通过使似然最大求得一组参数的过程。我们可以求 $L(\theta |x)\mathrm{对}\theta$ 的微分并使之为 $0$ ，从而求出这组参数：

$$\begin{array}{rl}\theta & =\arg max(L(\theta |x))\\ & =\arg max(P_{model}(x|\theta ))\\ & =\arg max(\prod _{i=1}^n{P}_{model}(x_i|\theta ))\\ & =\arg max(\sum _{i=1}^n\log P_{model}(x_i|\theta ))\\ & =-\arg min(\sum _{i=1}^n\log P_{model}(x_i|\theta ))\end{array}$$

最大后验估计

传统统计学派认为概率是一个定值，而贝叶斯学派认为概率是对随机变量的描述，因此随着得到的信息越多，我们对其的描述也应该更精确，这意味着在得到信息后概率也会随之改变。在得到信息之前的概率称为 先验概率 ，在得到信息之后的概率称为 后验概率 。贝叶斯学派认为，参数也是一个随机变量，因此也可以使用概率分布去描述它。

假设某机器学习模型有参数 $\theta$ 和样本 $x$ ，根据贝叶斯公式，参数的后验概率为：

$$\begin{array}{r}{p}_{model}(\theta |x)=\frac{p_{model}(x|\theta )p(\theta )}{p(x)}\end{array}$$

其中 $p(x)$ 是一个已知常量，我们通过让这个后验概率最大来求得 $\theta$ ：

$$\begin{array}{rl}\theta & =\arg max(p_{model}(\theta |x))\\ & =\arg max(p_{model}(x|\theta )p(\theta ))\\ & =\arg max(\prod _{i=1}^n{p}_{model}(x_i|\theta )p(\theta ))\\ & =\arg max(\sum _{i=1}^n\log p_{model}(x_i|\theta )p(\theta ))\\ & =-\arg min(\sum _{i=1}^n\log p_{model}(x_i|\theta )p(\theta ))\end{array}$$