随机过程 1:准备知识

系列笔记是本人在上随机过程时整理的。由于这门课是这个学期正在上的，更新速度会比较慢，只能每学完一个章节更新一次。这是准备知识部分，其中引入的最重要的概念是条件期望。

概率的公理化

概率测度空间

$\left(\Omega ,\mathcal{F},P\right)$ 构成一概率测度空间，其中$\mathcal{F}$ 中的元素被称为随机事件或简称事件，而 $\Omega$ 被称为必然事件。事件中的元素被称为基本点。随机变量 $X$ 是概率测度空间上关于$\mathcal{F}$的可测函数，其作用在事件域 $\mathcal{F}$上，导出一个实数值。其分布函数 $F$ 为：
$$F(x)=P\left(\left\{w:X(w)\le x\right\}\right)=:P(X\le x)$$
同理也可以定义n维随机变量地分布函数以及边缘分布函数。分布函数具有单调增、右连续性的性质。如果分布函数满足：
$$F(x)={\int }_{{}^{-\infty }}^{x}f(t)dt$$
则称该随机变量为连续性随机变量。随机变量中只有很少的一部分是离散型和连续性，更多的随机变量既不连续也不离散。

数学期望

随机变量$X$的数学期望被定义为：
$$E[X]:={\int }_{\Omega }XdP$$
当然，前提是上述积分存在；也就是说，随机变量数学期望的存在条件是其为可积函数。

独立性

下面介绍事件的独立性。设 $\mathcal{D}=\{A_t,t\in T\}$为一族事件，如果对 $T$ 的任何非空有限子集$S$，有：
$$P(\bigcap _{s\in S}{A}_s)=\prod _{s\in S}P(A_s)$$
则称 $\mathcal{D}$中事件相互独立。请注意，两两独立并不意味着相互独立；一定要对于任意的非空子集$S$都满足上式，才能称事件相互独立。举例：猜拳游戏中，事件A是甲赢乙，B是乙赢丙，C是甲赢丙。AB、BC都相互独立，但是AC并不独立。

设 $\{{\mathcal{C}}_t,t\in T\}$ 为一族事件类，如果从每个事件类 ${\mathcal{C}}_t$ 中任取一事件 $A_t,\{A_t,t\in T\}$ 中事件相互独立，则称$\{{\mathcal{C}}_t,t\in T\}$为独立 (事件)类。设$\{{\xi }_t,t\in T\}$为一族随机变量，若$\{\sigma ({\xi }_t),t\in T\}$为独立事件类。则称$\{{\xi }_t,t\in T\}$ 相互独立。 其中的符号：
σ ( ξ ) : = { ξ − 1 ( B )   ∣   B ∈ B ( R ) } \sigma(\xi):=\left\{{\xi ^{-1}\left({B}\right)\:\bigg|\:B\in \mathcal{B}(\mathbb{R})}\right\} σ(ξ):={ξ−1(B) ​B∈B(R)}
一族随机变量独立的充要条件如下：
$$\begin{array}{rlr}⟺& F_{X_1,X_2,\cdots ,X_n}\left(x_1,x_2,\cdots ,x_n\right)=\prod _{i=1}^n{F}_{X_i}\left(x_i\right),x_1,x_2,\cdots ,x_n\in \mathbb{R},⟺& \forall 有界可测函数f_1,f_2,\dots ,f_n:E\prod _{i=1}^n{f}_i(X_i)=\prod _{i=1}^{n}E(X_i)\end{array}$$
证明参考书籍[[测度论基础与高等概率论 下册 (袁德美 王学军 编著) (Z-Library).pdf#page=14|测度论基础与高等概率论 下册]] page326。

条件期望与条件概率

定义演化

在这里，我们通过先定义抽象的条件期望，再利用条件期望定义条件概率。而条件期望的定义也是从具象到抽象。先定义离散型随机变量的条件期望。

设 $X、Y$ 是一对离散型随机变量，其联合概率分布为$P_{ij}:=P\left(X=x_i,Y=y_j\right)$。于是合乎直觉的，条件期望被定义为：
$$E[X|Y=y_j]:=\sum _i{x}_i\frac{P_{ij}}{P_{\cdot j}}$$
可以看出，条件期望$E[X|Y]$是随机变量$Y$的函数。但是，其实这里$Y$并不重要，重要是事件$B:=Y^{-1}(y)$。从这个角度看，条件期望就是在$B$上求$X$的期望，而不是在全空间$\Omega$上：
$$E[X|B]=E[X|Y=y_i]={\int }_{B}Xd{P}_B{P}_B(S):=\frac{P(S\cap B)}{P(B)}$$
于是，我们就将随机变量关于随机变量的条件期望转化成了关于随机事件的条件期望。但是，这里的期望是一个定值，我们希望集合$B$也可以取不同的值。

下面我们进一步地进行抽象。设域$\Omega$上有一个有限的划分 { B j   ∣   j = 1 , 2 , … , n } \left\{{B_{j}\:\bigg|\:j=1,2,\dots,n}\right\} {Bj​ ​j=1,2,…,n}，$\mathcal{G}$是由其生产的$\sigma$代数。对于任意可积的随机变量，定义其关于$\mathcal{G}$的条件期望为：
$$E[X|\mathcal{G}]:=\sum _{i=1}^n\frac{E[X{I}_{B_j}]}{P(B_j)}{I}_{B_j}$$
我们首先应该注意的是，这里的条件期望是一个随机变量而不是一个值。其次，随机变量$E[X|\mathcal{G}]$是一个关于$\mathcal{G}$可测的随机变量，这是因为其是特征函数的线性组合。最后，不难发现：
$$E[E[X|\mathcal{G}]\cdot I_B]=E[X\cdot I_B]$$
进一步推出对于任意关于 $\mathcal{G}$ 可测的随机变量$Y$，都有：
$$E[E[X|\mathcal{G}]\cdot Y]=E[XY]$$

最终，给定 $\sigma$ 域 $\mathcal{G}$ 和随机变量 $X$ ，我们定义条件期望 $T$ 被定义为满足以下两个条件的随机变量：
$$\begin{array}{rl}& (1)T关于\mathcal{G}可测\\ & (2)E[T{I}_B]=E[X{I}_B],\forall B\in \mathcal{G}i.e.{\int }_{B}TdP={\int }_{B}XdP\end{array}$$
唯一性（a.s意义下）是很容易证明的；而存在性由Radon-Nikodym定理保证。我们记满足以上两个条件的唯一随机变量为$T=E[X|\mathcal{G}]$，称作$X$ 关于 $\mathcal{G}$ 的条件期望。

性质

下面不加证明的给出一些条件期望的性质：

(1) (重期望公式) $E[E[X|G]]=E[X]$;

(2) 若 X 为 $\mathcal{G}$ 可测，则 $E[X|G]=X$ a.s.
(3) 设 $\mathcal{G}=\{\varnothing ,\Omega \}$，则 $E[X|\mathcal{G}]=E[X]$ a.s.

(4) $X\ge Y$ a.s. $\Rightarrow E[X|\mathcal{G}]\ge E[Y|\mathcal{G}]$ a.s.

(5) 设 $c_1,c_2$ 为实数，X,Y,$c_{1}X+c_{2}Y$ 的期望存在，则$E[c_{1}X+c_{2}Y|\mathcal{G}]=c_{1}E[X|\mathcal{G}]+c_{2}E[Y|\mathcal{G}]$ a.s.，如果右边和式有意义；

(6) 绝对值不等式：$|E[X|\mathcal{G}]|\le E[|X||\mathcal{G}]$ a.s.

(7) 设 X 及 XY 的期望存在，且 Y 为 G 可测，则$E[XY|\mathcal{G}]=YE[X|\mathcal{G}]$ a.s.

(8) (塔式法则) 设 ${\mathcal{G}}_1,{\mathcal{G}}_2$ 为 $\mathcal{F}$ 的子 $\sigma$ 代数，且 ${\mathcal{G}}_1\subset {\mathcal{G}}_2$，则
$E[E[X|{\mathcal{G}}_2]|{\mathcal{G}}_1]=E[X|{\mathcal{G}}_1]$ a.s.

(9) 若 X 与 G 相互独立 (即 $\sigma (X)$ 与 G 相互独立)，则有$E[X|\mathcal{G}]=E[X]$ a.s.

证明参考[[测度论讲义.pdf#page=210|测度论讲义]].

直观理解

条件期望从几何上看其实就是投影。将随机变量的内积定义为：
$$⟨X,Y⟩=E[XY]$$
从这个视角看，许多性质都是可以从直观上得到的。