随机变量

对于概率空间 $(\mathrm{\Omega },\mathcal{F},P)$ ，一个 随机变量 是定义在 $\mathrm{\Omega }$ 上的实值函数。随机变量是对试验结果的描述，例如，考虑 $\mathrm{\Omega }=\{1,2,3,4,5,6\}$ 和随机变量 $X(\omega )=\{\begin{array}{ll}1& \omega =1,2,3\\ 0& \omega =4,5,6\end{array}$ ，这个随机变量可以描述一次投掷骰子的试验中，骰子的结果是否大于 $3$ ；再比如，考虑 $\mathrm{\Omega }=\{(x,y)|x^2+y^2\le 1\}$ 和随机变量 $X(x,y)=\sqrt{x^2+y^2}$ ，这个随机变量可以描述向一个半径为 $1$ 的区域掷飞镖时，落点到原点的距离。

离散型随机变量

离散型随机变量是定义在离散样本空间上的随机变量。这意味着离散型随机变量的定义域 $\mathrm{\Omega }$ 是离散的，或 $\mathrm{\Omega }$ 内的元素是有限或可数的。

概率密度函数

对于离散型随机变量，我们会关心它在取得各种值时的概率。具体来说，我们关心 $P(X(\omega )=x)$ 的值。我们称这个值为离散型随机变量的 概率密度函数 （Probability density function，PDF），也称 分布律 和 概率函数 等。接下来我们更加严谨地定义一下这个概念：

设 $X$ 是样本空间 $\mathrm{\Omega }$ 上的一个随机变量，它的概率密度函数是 $X$ 取得某值的概率：

$$f_X(x)=P(X(\omega )=x)\text{ s.t. }\omega \in \mathrm{\Omega }$$

因为概率的总和为 $1$ ，因此概率密度函数的总和也是 $1$ ，并且对于任何 $x$ 都有 $0\le f_X(x)\le 1$ 。

累计分布函数

除了概率密度函数，我们有时还会关心一个随机变量小于等于某数的概率，即 $P(X(\omega )\le x)$ 。这个概率可以通过将所有小于等于 $x$ 的概率加起来得到，我们称这个概率为 $X$ 的 累计分布函数（cumulative distribution function，CDF）。它的定义如下：

设 $X$ 是样本空间 $\mathrm{\Omega }$ 上的一个随机变量，它的累计分布函数是 $X$ 小于某值的概率：

$$F_X(x)=P(X(\omega )\le x)\text{ s.t. }\omega \in \mathrm{\Omega }$$

累计分布函数可以用来求出 随机变量落在某区间的概率 。例如，随机变量 $X$ 在 $[a,b]$ 上的概率就是 $F_X(b)-F_X(a)+f_X(a)$ 。

由于概率是一个大于 $0$ 小于 $1$ 的值，因此累计分布函数是一个从 $0$ 开始的递增函数，并且最终增长到 $1$ 。我们有以下结论：

$$\begin{array}{rl}& \underset{x\to -\mathrm{\infty }}{lim}{F}_X(x)=0\\ & \underset{x\to -\mathrm{\infty }}{lim}{F}_X(x)=0\\ & \text{当 x}\le \text{y时,}{F}_X(x)\le F_X(y)\end{array}$$

连续型随机变量

将上面离散型随机变量中 $\mathrm{\Omega }$ 由离散改为连续，就得到了 连续型随机变量 。

连续随机变量的分布函数

对应的，我们可以给出连续随机变量概率密度函数和累计分布函数的定义：

设 $X$ 是样本空间 $\mathrm{\Omega }$ 的一个随机变量，其中 $\mathrm{\Omega }$ 是不可数的。$X$ 的 累积分布函数 $F_X(x)$是它小于某值的概率：

$$F_X(x)=Prob(X\le x)$$

而 $X$ 的 概率密度函数 $f_X(x)$ 可以看成是其累计分布函数的导数。设 $X$ 的累计分布函数为 $F_X(x)$ ，如果一个函数 $f_X(x)$ 满足：

$$\begin{array}{rl}F(a)& ={\int }_{-\mathrm{\infty }}^a{f}_X(x)dx\end{array}$$

则称 $f_X(x)$ 是 $X$ 的概率密度函数。通过上面的定义，我们可以看出：

• $f_X(x)\ge 0$ ，因为概率总是正的。
• ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)dx=1$ ，因为总概率为 $1$ 。