极大似然估计例题——均匀分布的极大似然估计
设总体 X X X 服从均匀分布 U ( a , b ) U(a, b) U(a,b)，其中 a a a 和 b b b 是未知参数，取样本观测值为 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x1,x2,⋯,xn。求参数 a a a 和 b b b 的最大似然估计。
解
总体 X X X 的概率密度函数为
f ( x ; a , b ) = { 1 b − a , a ≤ x ≤ b , 0 , 其他 . f(x; a, b) = \begin{cases} \frac{1}{b - a}, & a \leq x \leq b, \\ 0, & \text{其他}. \end{cases} f(x;a,b)={b−a1,0,a≤x≤b,其他.
似然函数为
L ( a , b ) = { 1 ( b − a ) n , a ≤ x 1 , x 2 , ⋯ , x n ≤ b , 0 , 其他 . L(a, b) = \begin{cases} \frac{1}{(b - a)^n}, & a \leq x_1, x_2, \cdots, x_n \leq b, \\ 0, & \text{其他}. \end{cases} L(a,b)={(b−a)n1,0,a≤x1,x2,⋯,xn≤b,其他.
令 x ( 1 ) = min { x 1 , x 2 , ⋯ , x n } x_{(1)} = \min \{x_1, x_2, \cdots, x_n\} x(1)=min{x1,x2,⋯,xn}， x ( n ) = max { x 1 , x 2 , ⋯ , x n } x_{(n)} = \max \{x_1, x_2, \cdots, x_n\} x(n)=max{x1,x2,⋯,xn}，则似然函数可表示为
L ( a , b ) = { 1 ( b − a ) n , a ≤ x ( 1 ) ≤ x ( n ) ≤ b , 0 , 其他 . L(a, b) = \begin{cases} \frac{1}{(b - a)^n}, & a \leq x_{(1)} \leq x_{(n)} \leq b, \\ 0, & \text{其他}. \end{cases} L(a,b)={(b−a)n1,0,a≤x(1)≤x(n)≤b,其他.
为了最大化似然函数 L ( a , b ) L(a, b) L(a,b)，需要选择 a a a 和 b b b 使得 1 ( b − a ) n \frac{1}{(b - a)^n} (b−a)n1 最大。这等价于使 b − a b - a b−a 最小，同时满足 a ≤ x ( 1 ) a \leq x_{(1)} a≤x(1) 和 b ≥ x ( n ) b \geq x_{(n)} b≥x(n)。因此， a a a 和 b b b 的最大似然估计值为
a ^ = x ( 1 ) = min { x 1 , x 2 , ⋯ , x n } , b ^ = x ( n ) = max { x 1 , x 2 , ⋯ , x n } . \hat{a} = x_{(1)} = \min \{x_1, x_2, \cdots, x_n\}, \quad \hat{b} = x_{(n)} = \max \{x_1, x_2, \cdots, x_n\}. a^=x(1)=min{x1,x2,⋯,xn},b^=x(n)=max{x1,x2,⋯,xn}.
对应的最大似然估计量为
a ^ = X ( 1 ) = min { X 1 , X 2 , ⋯ , X n } , b ^ = X ( n ) = max { X 1 , X 2 , ⋯ , X n } . \hat{a} = X_{(1)} = \min \{X_1, X_2, \cdots, X_n\}, \quad \hat{b} = X_{(n)} = \max \{X_1, X_2, \cdots, X_n\}. a^=X(1)=min{X1,X2,⋯,Xn},b^=X(n)=max{X1,X2,⋯,Xn}.