方差，条件事件，多个随机变量课程笔记

方差(variance)定义和属性

var(X)=E[(X−μ)2]

根据期望值规则可得：

var(X)=∑x(x−μ)2PX(x)

标准差(Standard deviation)： σX=var(X)−−−−−−√

var(aX+b)=a2var(X)

一个有用的公式：var(X)=E[X2]−(E[x])2

推导过程如下：

μ 是常量，代表随机变量X的期望

var(X)=E[(X−μ)2]=E[X2−2μX+μ2]=E[X2]−E[2μX]+E[μ2]=E[X2]−2μE[X]+μ2=E[X2]−(E[x])2

Bernoulli和均匀随机变量的方差

Bernoulli期望：E[X] = p

所以方差为： var(X)=E[X2]−(E[x])2=p−p2=p(1−p)

上图为Bernoulli实验的方差与概率p之间的图像，在某种意义上，随机变量中的方差是随机性的一种量度。比如一枚硬币是公平的，也就是p为1/2，那么由上图可知，它的方差是最大的，也就证明它的随机性是最大的，那么当p为0或1时，它不是头就是尾，所以没有随机性。

均匀随机变量期望：E[X] = n2

所以方差为： var(X)=E[X2]−(E[x])2=1n+1(02+12+22+…+n2)−(n2)2=112n(n+2)

加条件的PMF和期望

任何关于概率模型的事实和推导出来的定理都适用于条件概率模型。

全期望定理(Total Expectation Theorem)

E[X]=P(A1)E[X|A1]+…+P(An)E[X|An]

加条件的几何随机变量

px−1|x>1(k)=px(k)=px−n|x>n(k)

几何随机变量的期望

由期望的线性性质和全期望定理可得：

E[X]=1+E[X−1]=1+p∗E[X−1|X=1]+(1−p)∗E[X−1|X>1]=1+0+(1−p)E[X]

所以：E[X] = 1p

多个随机变量和联合PMF

pX,Y(x,y)=P(X=xandY=y)

∑x∑ypX,Y(x,y)=1

pX(x)=∑ypX,Y(x,y)

pY(y)=∑xpX,Y(x,y)

超过两个以上的随机变量

pX,Y,Z(x,y,z)=P(X=xandY=yandZ=z)

∑x∑y∑zpX,Y,Z(x,y,z)=1

pX(x)=∑y∑zpX,Y,Z(x,y,z)

pX,Y(x,y)=∑zpX,Y,Z(x,y,z)

期望的线性性质

E[X1+…+Xn]=E[X1]+…+E[Xn]

The Mean Of The Binomial

利用指示器随机变量和期望的线性性质巧妙地求出二项分布的期望：