随机过程2：泊松过程
系列笔记是本人在上随机过程时整理的。由于这门课是这个学期正在上的，更新速度会比较慢，只能每学完一个章节更新一次。这是泊松过程部分，主要介绍了随机过程的一般理论、泊松过程的定义、数字特征、到达时间分布、到达时间间隔分布以及非时齐泊松过程。
随机过程一般理论
随机过程研究的范畴是一族相依的（不独立）的随机变量 { X t } \left\{{X_{t}}\right\} {Xt}及其之间的关系。也可以看作在时间的作用下形成的样本轨道，也就是将随机变量看做 X ⋅ ( w ) X_{\cdot}\left({w}\right) X⋅(w)。在这门课程中，我们更多的是based on第二个观点。
一族有限维分布函数：
F : = { F t 1 , t 2 , … , t n ( x 1 , x 2 , … , x n ) ∣ n ≥ 1 , t 1 , t 2 , … , t n ∈ T } \mathbb{F}:=\left\{{F_{t_{1},t_{2},\dots,t_{n}}\left({x_{1},x_{2},\dots,x_{n}}\right)\:\bigg|\:n\geq 1,t_{1},t_{2},\dots,t_{n} \in \mathbb{T}}\right\} F:={Ft1,t2,…,tn(x1,x2,…,xn) n≥1,t1,t2,…,tn∈T}
给定一族随机变量，我们可以很自然的建立从随机变量族到一个有限维分布函数族的映射：
{ X t } → F t 1 , t 2 , … , t n ( x 1 , x 2 , … , x n ) : = P ( X t 1 ≤ x 1 , … , X t n ≤ x n ) \left\{{X_{t}}\right\}\to F_{t_{1},t_{2},\dots,t_{n}}\left({x_{1},x_{2},\dots,x_{n}}\right):=P\left({X_{t_{1}}\leq x_{1},\dots,X_{t_{n}}\leq x_{n}}\right) {Xt}→Ft1,t2,…,tn(x1,x2,…,xn):=P(Xt1≤x1,…,Xtn≤xn)
上述由随机变量导出的 有限维分布函数族 非常自然的满足以下两条性质：
对称性： F t 1 , t 2 , … , t n ( x 1 , x 2 , … , x n ) = F t i 1 , t i 2 , … , t i n ( x i 1 , x i 2 , … , x i n ) F_{t_{1},t_{2},\dots,t_{n}}\left({x_{1},x_{2},\dots,x_{n}}\right)=F_{t_{i_{1}},t_{i_{2}},\dots,t_{i_{n}}}\left({x_{i_{1}},x_{i_{2}},\dots,x_{i_{n}}}\right) Ft1,t2,…,tn(x1,x2,…,xn)=Fti1,ti2,…,tin(xi1,xi2,…,xin)
相容性： F t 1 , … , t m , … , t n ( x 1 , … , x m , ∞ , … , ∞ ) = F t 1 , t 2 , … , t m ( x 1 , x 2 , … , x m ) F_{t_{1},\dots,t_{m},\dots,t_{n}}\left({x_{1},\dots,x_{m},\infty,\dots,\infty}\right)=F_{t_{1},t_{2},\dots,t_{m}}\left({x_{1},x_{2},\dots,x_{m}}\right) Ft1,…,tm,…,tn(x1,…,xm,∞,…,∞)=Ft1,t2,…,tm(x1,x2,…,xm)
那么反过来，如果给定一族有限维分布函数，可以定义一族随机变量吗？显然，这一族有限维分布函数必须要满足对称性和相容性。而任意满足对称性和相容性的一族有限维分布函数，必然存在概率空间 ( Ω , F , P ) \left({\Omega,\mathcal{F},P}\right) (Ω,F,P) 和在其上的一个随机过程 { X ( t ) , t ∈ T } \left\{{X\left({t}\right),\:t\in\mathbb{T}}\right\} {X(t),t∈T}，使得其按上述方法导出的有限维分布函数族，恰好是原来的有限维分布函数族。这就是著名的 柯尔莫哥洛夫定理。
我们利用 柯尔莫哥洛夫定理 小试牛刀。随便选取一个分布函数 F ( x ) F\left({x}\right) F(x)，我们定义一族有限维分布函数：
F t 1 , t 2 , … , t n ( x 1 , x 2 , … , x n ) = ∏ i = 1 n F ( x i ) F_{t_{1},t_{2},\dots,t_{n}}\left({x_{1},x_{2},\dots,x_{n}}\right)=\prod_{i=1}^{n} F(x_{i}) Ft1,t2,…,tn(x1,x2,…,xn)=i=1∏nF(xi)
显然，这族有限维分布函数满足对称性和相容性。根据柯尔莫哥洛夫定理，存在一族随机变量 { X ( t ) , t ∈ T } \left\{{X\left({t}\right),t\in\mathbb{T}}\right\} {X(t),t∈T} 其导出的分布函数族为上述分布函数族。于是我们就找到了任意数量（有限个）独立同分布的随机变量，而这正是中心极限定理的前提。
泊松过程
泊松过程的定义
一个随机过程 N ( t ) N(t) N(t)被称为时齐泊松过程，如果这个随机过程满足：
( 1 ) N ( 0 ) = 0 ，是一个计数过程 ( 2 ) 平稳性 : N ( t + s ) − N ( s ) = d N ( t ) − N ( 0 ) = N ( t ) , 同分布 独立增量性 : u < s < t , N ( t ) − N ( s ) 与 N ( s ) − N ( t ) 独立 ( 3 ) P ( N ( Δ t ) = 1 ) = λ Δ t + o ( Δ t ) , P ( N ( Δ t ) ≥ 2 ) = o ( Δ t ) \begin{align*} (1)&\:N\left({0}\right)=0，是一个计数过程\\ \\ (2)&\:平稳性:\quad N\left({t+s}\right)-N(s) \overset{\rm d}{=} N\left({t}\right)-N\left({0}\right)=N\left({t}\right),\:同分布\\ &\:独立增量性:\:u
我们可以证明，在 ( 1 ) , ( 2 ) \left({1}\right),\left({2}\right) (1),(2)的前提下， ( 3 ) (3) (3)等价于：
( 3 ′ ) P ( N ( t ) − N ( s ) = k ) = e − λ ( t − s ) [ λ ( t − s ) ] k k ! (3')\: P\left({N(t)-N(s)=k}\right)=e^{-\lambda(t-s)} \frac{\left[{\lambda \left({t-s}\right)}\right]^{k}}{k!} (3′)P(N(t)−N(s)=k)=e−λ(t−s)k![λ(t−s)]k
可以证明，满足 ( 1 ) , ( 2 ) , ( 3 ) (1),(2),(3) (1),(2),(3) 的过程是泊松过程：
P ( N ( t ) = k ) = e − λ t ( λ t ) k k ! P\left({N\left({t}\right)=k}\right)=e^{-\lambda t} \frac{\left({\lambda t}\right)^{k}}{k!} P(N(t)=k)=e−λtk!(λt)k
remark：泊松过程中最重要的是第二条，要努力凑出两个增量，然后利用独立性进行处理。
泊松过程的数字特征
- 均值函数： E ( N ( t ) ) = λ t E(N(t)) = \lambda t E(N(t))=λt, E ( N ( t ) ) t = λ \frac{E(N(t))}{t} = \lambda tE(N(t))=λ称为强度。
- 方差函数： D ( N ( t ) ) = λ t D(N(t)) = \lambda t D(N(t))=λt.
- 协方差函数：设 t > s t > s t>s, c o v ( N ( t ) , N ( s ) ) = λ min ( s , t ) \mathrm{cov}(N(t), N(s)) = \lambda \min(s,t) cov(N(t),N(s))=λmin(s,t).
- 相关系数： R N ( s , t ) = λ 2 s t + λ min ( s , t ) R_N(s,t)=\lambda^2 st + \lambda \min(s,t) RN(s,t)=λ2st+λmin(s,t).
泊松过程具有分流性质和合流性质，结果都为泊松分布。
泊松过程到达时间分布
研究泊松过程，可以从累积的角度来看，也可以从到达时间的角度来看。在这一节中，我们将从这个视角，看待泊松分布与Gamma分布、指数分布、均匀分布的关系。
设 τ 1 , τ 2 , … , τ n \tau_{1},\tau_{2}, \dots,\tau_{n} τ1,τ2,…,τn 为第 1 , 2 , … , n 1, 2, \dots, n 1,2,…,n 次事件到达的时刻。这些值可以更严谨的写成：
τ n = inf { t > 0 , N ( t ) = n } \tau_{n} = \inf \left\{{t>0, \:N\left({t}\right)=n}\right\} τn=inf{t>0,N(t)=n}
可以推出：
f τ n ( t ) = λ e − λ t ( λ t ) n − 1 ( n − 1 ) ! f_{\tau_{n}}\left({t}\right) = \lambda e^{-\lambda t} \frac{\left({\lambda t}\right)^{n-1}}{\left({n-1}\right)!} fτn(t)=λe−λt(n−1)!(λt)n−1
这是一个Gamma分布，在 t = n − 1 λ t = \frac{n-1}{\lambda} t=λn−1处取到极值。每两个峰值之间相隔的时间是相同的，这似乎预示着例子从期望的角度来说是均匀到达。选取一些n值绘制出的图像如下：
![[Pasted image 20250320233613.png|500]]
使用上述概率密度函数来描述泊松过程并不是那么美满。我们希望进一步得到下面的函数：
f τ 1 , τ 2 , … , τ n ( t 1 , t 2 , … , t n ) f_{\tau_{1},\tau_{2},\dots,\tau_{n}}\left({t_{1},t_{2},\dots,t_{n}}\right) fτ1,τ2,…,τn(t1,t2,…,tn)
我们知道：
P ( τ 1 ∈ ( t 1 , t 1 + Δ t ) , τ 2 ∈ ( t 2 , t 2 + Δ t ) , … , τ n ∈ ( t n , t n + Δ t ) ) = f τ ( t 1 , … , t n ) Δ t n P\bigg({\tau_{1} \in (t_{1}, t_{1}+\Delta t)}\:, \: \tau_{2} \in (t_{2}, t_{2}+\Delta t), \dots, \tau_{n} \in (t_{n}, t_{n}+\Delta t)\bigg) = f_{\tau}\left({t_{1},\dots,t_{n}}\right)\Delta t^{n} P(τ1∈(t1,t1+Δt),τ2∈(t2,t2+Δt),…,τn∈(tn,tn+Δt))=fτ(t1,…,tn)Δtn
下面只要求得 LHS 就能得到联合概率密度函数。记 t 1 + Δ t : = t 1 Δ t_{1}+\Delta t:=t_{1}^{\Delta} t1+Δt:=t1Δ
L H S = P ( N ( t 1 ) = 0 , N ( t 1 Δ − t 1 ) = 1 , N ( t 2 − t 1 ) = 0 , … , N ( t n Δ − t n ) ) = P ( N ( t 1 ) = 0 ) P ( N ( t 1 Δ − t 1 ) = 1 ) P ( N ( t 2 − t 1 ) = 0 ) … P ( N ( t n Δ − t n ) ) = e − λ t n ⋅ ( e − λ Δ t ) n λ n Δ t n \begin{align*} LHS& = P\bigg({N(t_{1}) = 0,\:N(t_{1}^{\Delta} - t_{1})=1\:,N(t_{2}-t_{1}) = 0, \dots,N(t_{n}^{\Delta}-t_{n})}\bigg)\\ & = P\bigg({N(t_{1}) = 0\bigg)P\bigg(\:N(t_{1}^{\Delta} - t_{1})=1\bigg)\:P\bigg(N(t_{2}-t_{1}) = 0\bigg) \dots P\bigg(N(t_{n}^{\Delta}-t_{n})}\bigg)\\ & = e^{-\lambda t_{n}}\cdot \big(e^{-\lambda\Delta t}\big)^{n} \lambda ^{n}\Delta t^{n} \end{align*} LHS=P(N(t1)=0,N(t1Δ−t1)=1,N(t2−t1)=0,…,N(tnΔ−tn))=P(N(t1)=0)P(N(t1Δ−t1)=1)P(N(t2−t1)=0)…P(N(tnΔ−tn))=e−λtn⋅(e−λΔt)nλnΔtn
两边同时除以 Δ t n \Delta t^{n} Δtn并令 Δ t → 0 \Delta t\to{0} Δt→0，就可以得到：
f τ 1 , τ 2 , … , τ n ( t 1 , t 2 , … , t n ) = λ n e − λ t n , 0 < t 1 < t 2 < ⋯ < t n f_{\tau_{1},\tau_{2},\dots,\tau_{n}}(t_{1},t_{2},\dots,t_{n}) = \lambda ^{n}e^{-\lambda t_{n}},\quad \quad 0
我们还可以计算：
f τ ( t 1 , t 2 , … , t n ∣ N ( t ) = n ) = n ! t n , 0 < t 1 < ⋯ < t n < t f_{\tau}\left({t_{1},t_{2},\dots,t_{n}}\:\bigg|\:N(t) = n\right) = \frac{n!}{t^{n}}, \quad 0
上述表达式有些眼熟。我们考虑 n n n 个独立同分布的均匀随机变量：
U i ∼ U n i f o r m ( 0 , t ) U_{i}\sim Uniform\left({0,t}\right) Ui∼Uniform(0,t)
则其顺序统计量的联合密度函数：
f U ( 1 ) , U ( 2 ) , … , U ( n ) ( t 1 , t 2 , … , t n ) = n ! ∏ i = 1 n f ( t i ) = n ! t n f_{U^{(1)},U^{(2)}, \dots, U^{(n)} }(t_{1},t_{2},\dots,t_{n}) = n! \prod_{i=1}^{n} f(t_{i}) = \frac{n!}{t^{n}} fU(1),U(2),…,U(n)(t1,t2,…,tn)=n!i=1∏nf(ti)=tnn!
这告诉我们粒子均匀到达。也就是说：
τ k = d U ( k ) \tau_{k} \overset{\rm d}{=} U^{(k)} τk=dU(k)
泊松过程到达时间间隔分布
以上是对到达时间的分布进行的探讨。下面，我们还可以对到达时间间隔进行研究。设到达时间间隔 T n : = τ n − τ n − 1 T_{n}:=\tau_{n} - \tau_{n-1} Tn:=τn−τn−1，则 { T n } n ≥ 1 \left\{{T_{n}}\right\}_{n\geq 1} {Tn}n≥1独立同分布，且服从参数为 λ \lambda λ 的指数分布。这是因为：
P ( T 1 > t ) = P ( N ( t ) = 0 ) = e − λ t P ( T 2 > t ∣ T 1 = s ) = P ( T 2 > t ) = e − λ t \begin{align*} &P(T_{1}>t) = P(N(t) = 0) = e^{-\lambda t}\\ &P(T_{2}>t\:\bigg|\:T_{1} = s) = P(T_{2}>t) = e^{-\lambda t} \end{align*} P(T1>t)=P(N(t)=0)=e−λtP(T2>t T1=s)=P(T2>t)=e−λt
以此类推。于是：
f T i ( t ) = λ e − λ t f_{T_{i}}(t) = \lambda e^{-\lambda t} fTi(t)=λe−λt
到达时间间隔为指数分布是泊松过程的一个非常重要的性质。事实上，利用：
N ( t ) = max { n : ∑ i = 1 n T i ≤ t } N(t) = \max\: \left\{{n:\sum_{i=1}^{n}T_{i}\leq t}\right\} N(t)=max{n:i=1∑nTi≤t}
也可以定义出泊松过程。也就是说，一个计数分布是泊松过程的充要条件是其到达时间间隔为指数分布。
泊松过程的极限定理
定理：
lim t → ∞ N ( t ) t = λ \lim_{ t \to \infty } \frac{N(t)}{t} = \lambda t→∞limtN(t)=λ
由上面的定理我们可以推得：
lim t → ∞ 1 t ∑ k = 1 N ( t ) X k = λ μ , i f X k 独立同分布 , E X k = μ \lim_{ t \to \infty } \frac{1}{t} \sum_{k=1}^{N(t)}X_{k} = \lambda \mu,\quad if\:X_{k}\text{独立同分布 },EX_{k} = \mu t→∞limt1k=1∑N(t)Xk=λμ,ifXk独立同分布 ,EXk=μ
这被称为复合泊松过程。可以这样直观来想象复合泊松过程：N是来银行的人遵循的泊松分布，每个到来的人要取出X的钱，不同人之间取钱量是相互独立的，且期望是 μ \mu μ。
泊松过程的变体
复合泊松过程
泊松过程是一个计数过程，时齐泊松过程每次到达的粒子为1，并且到达是不连续的。我们也可以定义复合泊松过程，每次到达的量由另一个随机变量决定。
设时齐泊松过程 N N N以及与之独立的独立同分布随机变量族 { X i , i ≥ 1 } {\left\{{X_{i},\:i\geq 1}\right\}} {Xi,i≥1}，我们可以定义复合泊松过程：
X ( t ) : = ∑ i = 1 N ( t ) X i X(t): =\sum_{i=1}^{N(t)}X_{i} X(t):=i=1∑N(t)Xi
下面证明复合泊松过程的一些性质。
（1） E ( X ( t ) ) = E ( X ) ⋅ E ( N ( t ) ) E(X(t)) = E(X)\cdot E(N(t)) E(X(t))=E(X)⋅E(N(t))
proof:
E ( X ( t ) ) = E [ ∑ i = 1 N ( t ) X i ] = E [ E [ ∑ i = 1 N ( t ) X i ∣ N ( t ) ] ] = E [ ∑ i = 1 N ( t ) E [ X i ∣ N ( t ) ] ] = E [ ∑ i = 1 N ( t ) E [ X i ] ] = E [ N ( t ) ] ⋅ E [ X i ] \begin{align*} E(X(t)) &= E\left[{\sum_{i=1}^{N(t)}X_{i}}\right] = E\left[{E\left[{\sum_{i=1}^{N(t)}X_{i}\:\bigg|\:N(t)}\right]}\right]\\ & = E\left[{\sum_{i=1}^{N(t)}E\left[{X_{i}\:\bigg|\:N(t)}\right]}\right]\\ & = E\left[{\sum_{i=1}^{N(t)}E\left[{X_{i}}\right]}\right] = E\left[{N(t)}\right]\cdot E[X_{i}] \end{align*} E(X(t))=E i=1∑N(t)Xi =E E i=1∑N(t)Xi N(t) =E i=1∑N(t)E[Xi N(t)] =E i=1∑N(t)E[Xi] =E[N(t)]⋅E[Xi]
（2） c o v ( X ( s ) , X ( t ) ) = λ ( s ∧ t ) ( D ( X ) + E ( X ) 2 ) cov(X(s),X(t)) = \lambda \left({s \land t}\right)\left({D(X)+E(X)^{2}}\right) cov(X(s),X(t))=λ(s∧t)(D(X)+E(X)2)，其中 s ∧ t = min ( s , t ) s\land t = \min\:(s,t) s∧t=min(s,t)
proof：
WLOG，设 s ≤ t s\leq t s≤t，于是：
c o v ( X ( s ) , X ( t ) ) = E [ X ( s ) X ( t ) ] − E [ X ( s ) ] ⋅ E [ X ( t ) ] E [ X ( s ) X ( t ) ] = E [ X ( s ) ⋅ ( X ( t ) − X ( s ) ) ] + E [ X ( s ) 2 ] \begin{align*} &cov(X(s),X(t)) = E\left[{X(s)X(t)}\right] - E\left[{X(s)}\right]\cdot E\left[{X(t)}\right]\\ \\ &E\left[{X(s)X(t)}\right] = E\left[{X(s)\cdot\left({X(t)-X(s)}\right)}\right]+E\left[{X(s)^{2}}\right] \end{align*} cov(X(s),X(t))=E[X(s)X(t)]−E[X(s)]⋅E[X(t)]E[X(s)X(t)]=E[X(s)⋅(X(t)−X(s))]+E[X(s)2]
其中有几个需要说明的点，首先是 X ( s ) X(s) X(s)与 X ( t ) − X ( s ) X(t) - X(s) X(t)−X(s)之间的独立性。
Question：公交车10分钟一班，乘客到来符合参数为 λ \lambda λ的Poisson分布。求10分钟内到达的乘客等待的时间的总时长的平均值。
首先应该写出乘客的等待时间。先假设十分钟来了 N ( 10 ) N(10) N(10) 个人
X = ∑ k = 1 N ( 10 ) ( 10 − τ k ) X = \sum_{k=1}^{N(10)}\left({10-\tau_{k}}\right) X=k=1∑N(10)(10−τk)
随机变量 X X X是由两个随机变量 N ( 10 ) , τ k N(10),\tau_{k} N(10),τk复合而成。直接求解十分困难。我们可以利用全概率公式：
E [ E [ X ∣ N ( 10 ) ] ] = E [ X ] E[E[X\:\bigg|\:N(10)]] = E[X] E[E[X N(10)]]=E[X]
而：
E [ X ∣ N ( 10 ) = n ] = E [ ∑ k = 1 n ( 10 − τ k ) ] = E [ ∑ k = 1 n ( 10 − U ( k ) ) ] = E [ ∑ k = 1 n ( 10 − U k ) ] = 5 n \begin{align*} E[X\:\bigg|\:N(10) = n] &= E\left[ \sum_{k=1}^{n} \left({10-\tau_{k}}\right)\right] = E\left[{\sum_{k=1}^{n}(10-U^{(k)})}\right]\\ & = E\left[{\sum_{k=1}^{n}\left({10-U_{k}}\right)}\right] = 5n \end{align*} E[X N(10)=n]=E[k=1∑n(10−τk)]=E[k=1∑n(10−U(k))]=E[k=1∑n(10−Uk)]=5n
于是：
E [ X ] = ∑ n = 1 ∞ 5 n ⋅ e − λ t ( λ t ) n n ! E[X] = \sum_{n=1}^{\infty}5n\cdot e^{-\lambda t} \frac{(\lambda t)^{n}}{n!} E[X]=n=1∑∞5n⋅e−λtn!(λt)n
条件泊松过程
在实际的问题中，粒子到达的强度可能会发生变化。此时，时齐泊松过程中恒定强度因子 λ \lambda λ就不适用了。我们可以将 λ \lambda λ也随机掉，视作随机变量 Λ \Lambda Λ的取值。于是定义：
P ( N ( t + s ) − N ( s ) = n ∣ Λ = λ ) : = e − λ t ( λ t ) n n ! P\left({N(t+s)-N(s) = n\:\bigg|\:\Lambda = \lambda}\right):=e^{-\lambda t} \frac{\left({\lambda t}\right)^{n}}{n!} P(N(t+s)−N(s)=n Λ=λ):=e−λtn!(λt)n
为条件泊松过程，其中 Λ \Lambda Λ是一个取正值、概率分布为 F A ( λ ) F_{A}(\lambda) FA(λ)的随机变量。
非时齐泊松过程
稍微修改泊松过程的定义如下，即得非时齐泊松过程：
( 1 ) N ( 0 ) = 0 ，是一个计数过程 ( 2 ) 平稳性 : N ( t + s ) − N ( s ) = d N ( t ) − N ( 0 ) = N ( t ) , 同分布 独立增量性 : u < s < t , N ( t ) − N ( s ) 与 N ( s ) − N ( t ) 独立 ( 3 ) P ( N ( Δ t ) = 1 ) = λ ( t ) Δ t + o ( Δ t ) , P ( N ( Δ t ) ≥ 2 ) = o ( Δ t ) \begin{align*} (1)&\:N\left({0}\right)=0，是一个计数过程\\ \\ (2)&\:平稳性:\quad N\left({t+s}\right)-N(s) \overset{\rm d}{=} N\left({t}\right)-N\left({0}\right)=N\left({t}\right),\:同分布\\ &\:独立增量性:\:u
唯一修改的只是性质三，也就是粒子到达的强度是一个与时间有关的函数。称 λ ( t ) \lambda(t) λ(t)为强度函数，并定义累计强度：
m ( t ) = ∫ 0 t λ ( τ ) d τ m(t) = \int_{0}^{t} \lambda(\tau) \, d\tau m(t)=∫0tλ(τ)dτ
可以证明：
P ( N ( t ) − N ( s ) = k ) = ( m ( t ) − m ( s ) ) k k ! e − ( m ( t ) − m ( s ) ) P\left({N(t) - N(s) = k}\right) = \frac{\left({m(t)-m(s)}\right)^{k}}{k!}e^{-\left({m(t) - m(s)}\right)} P(N(t)−N(s)=k)=k!(m(t)−m(s))ke−(m(t)−m(s))