条件概率

条件概率 是已知一个事件发生时，另一个事件发生的概率。例如，在投掷一枚骰子时，我们已经知道结果是偶数，问结果是 $2$ 的概率为多少，这就是一个典型的条件概率。设有事件 $A$ 和 $B$ ，我们记 $P (A | B)$ 表示已知 $B$ 发生的情况下， $A$ 发生的概率是多少。

根据直觉，我们可以预见到，在某些情况下， $P (A | B) \neq P (A)$ 。这是因为 $B$ 发生这个信息会导致原本的概率分布改变。理解概率论的一个关键点在于理解概率和信息的关系：随着已知的信息越来越多，概率的分布也会随之改变，最后使得某个事件的概率为 $1$ ，而其他事件的概率为 $0$ 。这一点很容易理解，因为 信息是对不确定性的消除，而概率是对不确定性的描述 ，当所有不确定都被消除后，就只剩下了一种可能。

接下来的问题是如何得到 $P r (A | B)$ 的值。考虑概率空间 $(Ω, F, P)$ ， $B$ 发生使得概率函数 $P$ 变为了 $P_{B}$ 。 $B$ 发生意味着什么？首先，这会导致 $P_{B} (B^{C}) = 0$ ；其次，这个条件不会改变 $B$ 的子事件之间概率之比。因此我们得到了下面的两点：

$P_{B} (B^{C}) = 0$ ,因此 $P_{B} (B) = 1$ 。
设 $X$ , $Y$ 是 $B$ 的子事件， $\frac{P (X)}{P (Y)} = \frac{P_{B} (X)}{P_{B} (Y)}$

从第二点可以看出，对于 $B$ 的子事件， $B$ 发生只会导致他们的概率乘上同一个常数 $α$ 。因为 $B$ 也是自己的子事件，因此 $P_{B} (B) = α P (B)$ ，那么 $α = \frac{1}{P (B)}$ 。

这和 $P (A | B)$ 又有什么关系呢？事实上， $P (A | B)$ 等价于 $P_{B} (A)$ ，我们将 $A$ 分成 $A \cap B$ 和 $A / B$ 两部分，那么 $P_{B} (A) = P_{B} (A \cap B) + P_{B} (A / B) = P_{B} (A \cap B) = \frac{P (A \cap B)}{P (B)}$ 。因此我们得到了条件概率的公式：

$P (A | B) = \frac{P (A \cap B)}{P (B)}$

如果不考虑严谨性，还可以用文氏图来帮助理解这个公式：
Screenshot_2025-04-19-17-34-06-971_com.orion.notein.png

乘法法则

将条件概率的公式逆用，我们可以得到下面的公式：

$P (A \cap B) = P (A | B) * P (B)$

同时，由于 $A \cap B = B \cap A$ ，由对称性可知 $P (A \cap B) = P (B | A) * P (A)$ 。下文会提到，将这个公式再进一步，就得到了贝叶斯定律。

事件的独立性

两个事件独立，说明一个事件发生不会改变另一个事件发生的概率，这意味着 $P (A | B) = P (A)$ （当 $A$ 和 $B$ 相互独立时）。由于 $P (A | B) = \frac{P (A B)}{P (B)}$ ，因此此时 $P (A B) = P (A) P (B)$ 。这也意味着 $B$ 发生时不会 “泄漏” 和 $A$ 有关的信息。

如果已知两个事件独立，最大的好处是可以直接由他们的概率之积计算他们积事件的概率。因此我们从这一点出发，定义两个事件的独立为：

$P (A B) = P (A) P (B)$

类似的，对于 $n$ 个事件 $A_{n}$ ，他们独立性的定义为：
任意取出其中的 $m$ 个事件 $A_{t_{1}}, A_{t_{2}}, . . ., A_{t_{m}}$ ，都有：

$P (A_{t_{1}} A_{t_{2}} . . . A_{t_{m}}) = \prod_{j = 1}^{m} P (A_{t_{j}})$

下面给出几个独立事件的例子：

在一个 $100 \times 100$ 的带坐标网格上取一个点。点的横坐标是否为偶数与纵坐标是否为偶数无关。
连续两次投掷骰子，这两次投掷的结果无关。

全概率法则

有时直接求一个事件发生的概率比较困难，这时我们可以将事件空间划分成若干不相交的部分，并求这个事件在这些部分下的条件概率。

上面的描述可能不甚清晰，我们接下来用数学语言来进一步完善称述。对于样本空间 $Ω$ ，定义它的一个划分为满足下面条件的集族 ${B_{i}}$ ：

$B_{i}$ 覆盖了样本空间 ： $\cup_{i} B_{i} = Ω$
${B_{i}}$ 互不相交 ：对于任意两个 $B_{i}$ 和 $B_{j}$ ， $B_{i} \cap B_{j} = \emptyset$ 。

而事件 $A$ 发生的概率，可以拆分为 $A$ 在各个 $B_{i}$ 下发生的条件概率：

$P (A) = \sum_{i} P (A | B) * P (B)$

贝叶斯定律

先验概率和后验概率

先验概率是指在我们获得任何新数据或证据之前，对某一事件或假设的概率估计。它通常基于先前的知识、经验或假设。

而后验概率是指在观察到新数据或证据后，对某一事件或假设的概率进行更新后的估计。它是贝叶斯推断的核心结果。

例如，在投掷一个骰子时，我们认为结果是 $2$ 的概率是 $\frac{1}{6}$ ；但当知道结果是偶数时，概率就变成了 $\frac{1}{3}$ 。在这个例子中，前后两个概率就分别是先验概率和后验概率。

贝叶斯定律

贝叶斯定律的核心是，给出一个先验概率 $P (H)$ ，在已知信息 $E$ 的情况下求后验概率 $P (H | E)$ 。

回顾上文提到的一般乘法法则，可以发现：

$P (A \cap B) = P (A | B) * P (B) = P (B | A) * P (A)$

因此 $P (A | B) * P (B) = P (B | A) * P (A)$ 。移项可以得到：

$\begin{aligned} P (A | B) = & P (B | A) * \frac{P (A)}{P (B)} \\ = & P (A) * \frac{P (B | A)}{P (B)} \end{aligned}$

这个公式可以理解为， $P (A)$ 是知道信息 " $B$ 发生" 前的先验信息， $P (A | B)$ 是后验信息， " $B$ 发生" 这个信息对 $A$ 概率的影响体现在因子 $\frac{P (B | A)}{P (B)}$ 上。

一个广为流传的例子如下：

已知有一种疾病，发病率是 $0.1 %$ 。针对这种疾病的测试非常准确：

如果有病，则准确率是 $99 %$ （即有 $1 %$ 未检出阳性）；
如果没有病，则误报率是 $2 %$ （即有 $2 %$ 误报为阳性）。
现在，如果一个人测试显示阳性，请问他患病的概率是多少？

已知条件可以写成下面的样子：

$\begin{aligned} P (患病) = 0.001 \\ P (阳性 | 患病) = 0.99 \\ P (阳性 | 不患病) = 0.02 \end{aligned}$

要求 $P (患病 | 阳性)$ 。根据贝叶斯定律， $P (患病 | 阳性) = P (阳性 | 患病) * \frac{P (患病)}{P (阳性)}$ ，所有只需要求出 $P (阳性)$ 就行了。

而

$\begin{aligned} P (阳性) \\ = & P (阳性 | 患病) * P (患病) + P (阳性 | 不患病) * P (不患病) \\ = & (0.99 \cdot 0.001) + (0.02 \cdot 0.999) \\ = & 0.02097 \end{aligned}$