概率的公理化定义

为了准确理解与深入研究随机现象,我们不能满足于从直觉出发形成的概率定义(概率的稳定值或可能性大小的个人信念),必须把概率论建立在坚实的数学基础上,科尔莫哥洛夫1933年在《概率论基本概念》一书中用集合论观点和功利化方法成功解决了这个问题。

首先,可以看到事件的关系和集合关系之间存在着重要的联系。我们给出两者之间的对应关系,之后对于事件的研究就转化为对集合的研究。

  • 条件 S 下的「事件」就是若干个结果的集合(即 \(\Sigma\) 的子集),所谓观察到事件 A 发生就是指 S 下出现的结果属于 A 。显然,\(\Sigma\) 本身是必然事件,空集 \(\varnothing\) 是不可能事件。
  • 如果\(A\in \Sigma\),则\(A^c=\Omega -A\)就是 A 的对立事件 \(\bar{A}\)
  • 所谓 A 与 B 不相容就是指\(A\cap B= \varnothing\)(即A与B不相交)。
  • 事件的并和交分别归结为集合的并和交。

\(\Sigma\) 是任意的非空集合,叫作基本事件空间(样本空间),其背景是条件 S 下所有可能的不同结果的全体(每个结果是一个「基本事件」)

定义1: 设 \(\mathcal{F}\) 是由 \(\Sigma\) 的一些子集组成的集合(这种由集合组成的集合一般叫作集合系),\(P=P(\cdot)\)\(\mathcal{F}\) 上有定义的实值函数。如果定义域 \(\mathcal{F}\) 和函数 P 满足下列条件:

  1. \(\Omega\in\mathcal{F}\)
  2. \(A \in\mathcal{F}\),则\(A^c=\Omega-A \in\mathcal{F}\)
  3. \(A_n \in\mathcal{F} (n=1,2,...)\),则 \(\bigcup_{n=1}^\infty A_n \in\mathcal{F}\)
  4. \(P(A)\ge 0 (A\in \mathcal{F})\)
  5. \(P(\Omega)=1\)
  6. \(A_n \in\mathcal{F} (n=1,2,..)\)且两两不相交,则\(P(\bigcup_{n=1}^\infty A_n)=\sum_{n=1}^\infty P(A_n)\)

那么称 \(P\)\(\mathcal{F}\) 上的概率测度(简称概率),$ P(A)$ 为 \(A\) 的概率(也称 \(A\) 发生的概率)。附有 \(\mathcal{F}\)\(P\)\(\Omega\) 叫作概率空间,有时也说 \((\Omega, \mathcal{F}, P)\) 是概率空间。

定义2: 设 \(\mathcal{F}\) 是由 \(\Omega\) 的一些子集组成的集合,具有上述 1-3 的性质,则称 \(\mathcal{F}\)\(\Omega\) 中的 \(\sigma\) 域(或 \(\sigma\) 代数)。

其中前三条构成的集合称为 \(\sigma\) 域;而后三条,即非负性、完全性、可列可加性则是概率的公理化定义

补充定义(测度):设\(\mathcal{F}\)是由\(\Omega\)的一些子集组成的集合,\(\varnothing\in\mathcal{F}\),称\(\mathcal{F}\)上有定义的函数\(\mu=\mu(\cdot)\)为测度,如果它满足:

  • \(0\le\mu(A)\le+\infty\)
  • \(\mu(\varnothing)=0\)
  • \(A_n \in\mathcal{F} (n=1,2,...)\)两两不相交且 \(\bigcup_{n=1}^\infty A_n\in\mathcal{F}\),则\(\mu(\bigcup_{n=1}^\infty A_n)=\sum_{n=1}^\infty \mu(A_n)\)

可以看到,我们定义的概率测度是一种特殊的测度。


任意指定非空集合 \(\Omega\)\(\Omega\) 中的一些子集组成的 \(\sigma\)\(\mathcal{F}\) 以及\(\mathcal{F}\) 上有定义的概率 P ,所得到的三元组 \((\Omega, \mathcal{F}, P)\) 是我们研究概率的基础和出发点。

  • (前三条)首先指出,\(\sigma\)\(\mathcal{F}\) 关于集合的基本运算是「封闭」的。即,任意个数(有限、可数)集合的交/并仍属于\(\mathcal{F}\),两集合之差也属于\(\mathcal{F}\)
  • (后三条)其次,经由上述定义在 \(\sigma\)\(\mathcal{F}\) 上的概率函数 P 有一系列的性质(在此省略)。

随机变量的概念

注意到,随机变量是概率论乃至统计学的核心概念之一,因此以下对这一概念进行进一步的阐释。

在《概率与统计》中,对于随机变量有两种定义(后者更为完全)

定义1: 如果条件 S 下所有可能的结果组成集合 \(\Omega=\{\omega\}\)\(X=X(\omega)\)\(\Omega\) 上有定义的实值函数,而且对任何实数 c,事件\(\{\omega: X(\omega)\le c\}\) 是有概率的,则称 X 是随机变量。

定义2: 设\((\Omega, \mathcal{F}, P)\)是概率空间, \(X=X(\omega)\)\(\Omega\) 上有定义的实值函数,如果对任何实数x,集合\(\{\omega: X(\omega)\le x\}\) 属于\(\mathcal{F}\),则称X是\((\Omega, \mathcal{F}, P)\)上的随机变量

包含两个方面的内容:

  1. 随机变量 \(X=X(\omega)\) 是基本事件 \(\omega\) 的函数,它体现随机而变
  2. 虽然\(X=X(\omega)\) 的值不能预先确定(因为无法预料将出现什么样的 \(X=X(\omega)\) ,但是对给定的 x,事件\(\{\omega: X(\omega)\le x\}\) 是有确定概率的,这体现了随机变量的一种「规则性」

最后,给出 wiki 上的定义作为参考:

A random variable is a measurable function \(X: \Omega\rightarrow E\) from a set of possible outcomes \(\Omega\) to a measurable space \(E\). The technical axiomatic definition requires \(\Omega\) to be a sample space of a probability triple (see the measure-theoretic definition). The probability that \(X\) takes on a value in a measurable set \({\displaystyle S\subseteq E}\) is written as \({\displaystyle \operatorname {P} (X\in S)=\operatorname {P} (\{\omega \in \Omega \mid X(\omega )\in S\})}\), where ${ } $ is the_probability measure_on \({\displaystyle (\Omega ,{\mathcal {F}})}\).

在这样严格定义的随机变量的概念下,用分布函数来刻画随机变量的概率特性:

定义:设 \(X=X(\omega)\)是随机变量,称函数 \[ F(x)=P(X\le x), (x\in R) \]

\(X\) 的分布函数,有时记为 \(F_X(x)\)

由此定义的分布函数有以下三条性质

  • 单调性:若\(a<b\),则 \(F(a)\le F(b)\)
  • \(\underset{x\rightarrow -\infty}{lim}F(x)=0, \underset{x\rightarrow +\infty}{lim}F(x)=1\)
  • 右连续性:\(\underset{\delta\rightarrow 0+}{lim}F(x+\delta)=F(x)\)

后两条的证明可考虑事件并公式,注意到右连续性是从分布函数的定义推导出来的,在此基础上,有

  • \(F(X<x)=F(x-0)\)
  • \(F(a<X\le b)=F(b)-F(a)\)
  • \(F(a\le X\le b)=F(b)-F(a-0)\)
  • \(F(a<X< b)=F(b-0)-F(a)\)