样本空间和事件

样本空间 是进行一个试验可能产生的所有结果的集合，也称为 结果空间 ，在下文我们用 $Ω$ 来表示。 $Ω$ 中的元素称为 基本事件，而事件是样本空间的一个子集，我们记所有事件的集合为 $F$ ，因此 $F$ 是 $Ω$ 幂集的子集： $F \in P (Ω)$ 。子事件 是事件的子集，因此子事件发生一定导致母/父事件发生。

例如，向一个半径为 $1$ 的区域掷飞镖并记录落点的位置，样本空间就是 $Ω = {(x, y) | x^{2} + x^{2} \leq 1}$ 。而如果认为将飞镖掷进这个区域中半径 $0.1$ 的圆为满分，那么 掷飞镖得到满分 这个事件就可以记作 $X = {(x, y) | x^{2} + y^{2} \leq {0.1}^{2}}$

由于事件是一个集合，因此我们可以对其使用集合上的运算。我们称几个事件的并为 和事件，记作 $A + B$ 或 $A \cap B$ ；几个事件的交为 积事件，记作 $A B$ 或 $A \cup B$ ；两个事件的差称为 差事件，记作 $A - B$ 。

有了样本空间，我们希望为其上的每一个事件定义一个概率，记作 $P r o b (X)$ ，也可以简记为 $P r (X)$ 或 $P (X)$ 。

概率论公理

刚才介绍了概率函数 $P r o b (X)$ ，我们希望这个函数满足一些符合直觉的公理。例如，这个函数的取值应该在 $[0, 1]$ 中，因为概率应该是 $[0, 1]$ 中的一个数。安德烈·柯尔莫果洛夫提出了概率论的基本公理：

概率空间 是一个可以定义概率的事件集合，由样本空间 $Ω$ ，事件集合 $F$ 和概率函数 $P r o b (X)$ 组成，记作 $(Ω, F, P r o b)$ 。概率空间应该满足以下性质：

事件空间的所有事件都有概率 ：对于任何 $X \in F$ ， $P r o b (X)$ 有定义并且 $0 \leq P r o b (X) \leq 1$ 。
空集的概率为0，且全集的概率为 1： $P r o b (\emptyset) = 0$ 且 $P r o b (Ω) = 1$
不相交事件的概率可加 ：设 ${A_{i}}$ 是 $F$ 中的一族不相交的集合，且 ${A_{i}}$ 可数，那么 $P r o b (\cap_{i} A_{i}) = \sum_{i} P r o b (A_{i})$ 。

上面的三条公理按顺序被称为概率论第一，第二和第三公理。

读者可能会发现，我们并没有对 $F$ 做出限制，但通过概率论公理中我们至少知道两件事：空集和样本空间在 $F$ 中，并且 $F$ 中的元素对取并集封闭。事实上，概率论公理要求 $F$ 是一个 $σ$ 代数 ，这个概念将马上在下面提到。

Sigma代数

$σ$ 代数是一个集族。对于 $σ$ 代数 $F$ ，它需要满足以下性质：

包含空集 ： $\emptyset \in F$ 。
包含补集 ：若 $A \in F$ ，那么 $A^{C} \in F$
包含可数并集 ：若集族 ${A_{i}}$ 中的每一个元素都在 $F$ 中，那么并集 $\cap_{i} A_{i}$ 也在 $F$ 中。注意，这里通过下标隐式要求集族 ${A_{i}}$ 是可数的。

对于 $Ω$ ，最简单的 $σ$ 代数就是集合 ${\emptyset, Ω}$ 了，但这对于概率论来说作用不大。不同的 $σ$ 代数代表了我们关注结果的什么性质，例如对于 $Ω = {1, 2, 3, 4}$ ，当 $F = P (Ω)$ 时，代表我们关注结果的全部信息；但当 $F$ 是 ${\emptyset, {1, 3}, {2, 4}, Ω}$ 时，我们只关系结果的奇偶性，因为我们的事件只包含结果是奇数还是偶数，其它事件例如结果是否大于 $2$ 在这个事件空间中是不存在的。

尽管在上面我们对事件集合 $F$ 做出了限制，但根据测度论，我们还是没有办法为所有的 $σ$ 代数分配概率。例如考虑 $R$ 的幂集 $P (R)$ ，我们无法在上面定义一个合适的概率函数。我们只能对一部分的 $σ$ 代数定义概率。

基本概率规律

从概率公理我们可以推导出下面几点基本定理：

容斥原理：对于两个事件 $A$ 和 $B$ ，他们和事件的概率 $P r (A \cup B) = P r (A) + P r (B) - P r (A \cap B)$ 。将两个事件扩展到 $n$ 个事件，那么对于 $n$ 个事件 ${A_{i}}, i \in [1, n]$ ，他们的和事件的概率为：

$P r (\cup_{i} A_{i}) = \sum_{i = 1}^{n} (- 1)^{i + 1} \sum_{{t_{1}, t_{2}, . . ., t_{i}}, t_{j} \in [1, n]} P r (\cup_{j = 1}^{i} A_{t_{j}})$

若 $A \subset B$ ，那么 $P r (A) \leq P r (B)$ 。但就算 $A ⫋ B$ 时也不能确定 $P r (A) < P r (B)$ 。
若集族 ${A_{i}}$ 每一个元素都满足 $A_{i} \subset B$ ，那么 $P r (\cup_{i} A_{i}) \leq P r (B)$ 。

对于第一条定理，我们仅证明二元情况：
容易得到， $A = A / B \cup (A \cap B)$ ，而 $A / B$ 和 $A \cap B$ 显然是不相交的，因此 $P r (A) = P r (A / B) + P r (A \cap B)$ 。同理 $P r (B) = P r (B / A) + P r (A \cap B)$ 。
而 $A \cup B$ 可以拆成 $A / B$ , $B / A$ 和 $A \cap B$ 三个不相交集合的并集，因此 $P r (A \cup B) = P r (A / B) + P r (B / A) + P r (A \cap B)$ ，代入上面关于 $P r (A)$ 和 $P r (B)$ 的式子就可以得到 $P r (A \cup B) = P r (A) + P r (B) - P r (A \cap B)$ 。