跳至主要内容

次序統計量（Order Statistics）

X1,⋯ ,Xn∼iidX_1,\cdots,X_n\overset{\text{iid}}{\sim} pdf f(x)f(x)

  ⟹  \implies order stat X(1)≤X(2)≤⋯≤X(n)X_{(1)}\le X_{(2)}\le\cdots\le X_{(n)} not indep

Goal: find pdf of X(k)X_{(k)}

fX(n)(x)=n⋅f(x)⋅F(x)n−1f_{X_{(n)}}(x)=n\cdot f(x)\cdot F(x)^{n-1} fX(1)(x)=n⋅f(x)⋅(1−F(x))n−1f_{X_{(1)}}(x)=n\cdot f(x)\cdot (1-F(x))^{n-1} fX(k)(x)=n!(k−1)!(n−k)!f(x)⋅F(x)k−1⋅(1−F(x))n−kf_{X_{(k)}}(x)=\frac{n!}{(k-1)!(n-k)!}f(x)\cdot F(x)^{k-1}\cdot(1-F(x))^{n-k}

以上公示可以解釋為四個部分：

  • n!(k−1)!(n−k)!\frac{n!}{(k-1)!(n-k)!}: 將 nn 個 XX 分成三組，數量分別為 k−1,1,n−kk-1,1,n-k 的組合數。
  • F(x)k−1F(x)^{k-1}: 前 k−1k-1 個 XX 都小於等於 xx 的機率。
  • (1−F(x))n−k(1-F(x))^{n-k}: 後 n−kn-k 個 XX 都大於 xx 的機率。
  • f(x)f(x): 第 kk 個 XX 剛好等於 xx 的機率。

joint pdf of X(i),X(j),i<jX_{(i)},X_{(j)},i<j is

fX(i),X(j)(s,t)=n!(i−1)!(j−i−1)!(n−j)!f(s)f(t)F(s)i−1[F(t)−F(s)]j−i−1[1−F(t)]n−jf_{X_{(i)},X_{(j)}}(s,t)=\frac{n!}{(i-1)!(j-i-1)!(n-j)!}f(s)f(t)F(s)^{i-1}[F(t)-F(s)]^{j-i-1}[1-F(t)]^{n-j}

joint pdf of X(1),X(2),⋯ ,X(n)X_{(1)},X_{(2)},\cdots,X_{(n)}

fX(1),X(2),⋯ ,X(n)(t1,t2,⋯ ,tn)=n!f(t1)f(t2)⋯f(tn)=n!∏i=1nf(ti)where t1<t2<⋯<tnf_{X_{(1)},X_{(2)},\cdots,X_{(n)}(t_1,t_2,\cdots,t_n)}=n!f(t_1)f(t_2)\cdots f(t_n)=n!\prod_{i=1}^n f(t_i)\quad\text{where }t_1<t_2<\cdots<t_n

EX: X1,⋯ ,Xn∼iidU(0,1)X_1,\cdots,X_n\overset{\text{iid}}{\sim}U(0,1)

fX(i)(x)=n!(i−1)!(n−i)!F(x)i−1[1−F(x)]n−if(x)=n!(i−1)!(n−i)!xi−1(1−x)n−iwhere 0<x<1\begin{align*} f_{X_{(i)}}(x)&=\frac{n!}{(i-1)!(n-i)!}F(x)^{i-1}[1-F(x)]^{n-i}f(x)\\ &=\frac{n!}{(i-1)!(n-i)!}x^{i-1}(1-x)^{n-i}\quad\text{where }0<x<1 \end{align*}

i.e. Xi∼Beta(i,n−i+1)X_{i}\sim \text{Beta}(i,n-i+1)

Y1,⋯ ,Yn∼iidN(μ,σ2)Y_1,\cdots,Y_n\overset{\text{iid}}{\sim} N(\mu,\sigma^2)

  ⟹  Φ(Yi−μσ)∼U(0,1)  ⟹  Φ(Y(i)−μσ)∼Beta(i,n−i+1)\implies\Phi(\frac{Y_i-\mu}{\sigma})\sim U(0,1)\implies \Phi(\frac{Y_{(i)}-\mu}{\sigma})\sim \text{Beta}(i,n-i+1)

EX: X1,⋯ ,Xn∼iidExp(λ)=Gamma(1,1λ)X_1,\cdots,X_n\overset{\text{iid}}{\sim} \text{Exp}(\lambda)=\text{Gamma}(1,\frac{1}{\lambda})

  1. pdf of X(1)X_{(1)}

    fX(1)(x)=n(1−F(x))n−1f(x)=n(1−e−λx)n−1λe−λx=nλe−nλx\begin{align*} f_{X_{(1)}}(x)&=n(1-F(x))^{n-1}f(x)\\ &=n(1-e^{-\lambda x})^{n-1}\lambda e^{-\lambda x}\\ &=n\lambda e^{-n\lambda x} \end{align*}

    i.e. X(1)∼Exp(nλ)X_{(1)}\sim \text{Exp}(n\lambda)

  2. jpdf of X1,⋯ ,XnX_1,\cdots,X_n

    fX(1),X(2),⋯ ,X(n)(t1,t2,⋯ ,tn)=n!∏i=1nλe−λti=n!λne−λ∑i=1ntif_{X_{(1)},X_{(2)},\cdots,X_{(n)}}(t_1,t_2,\cdots,t_n)=n!\prod_{i=1}^n\lambda e^{-\lambda t_i}=n!\lambda^n e^{-\lambda\sum_{i=1}^n t_i}

X1,⋯ ,Xn∼iidexp⁡(λ)X_1,\cdots,X_n\overset{\text{iid}}{\sim} \exp(\lambda) 是事件發生的時間。將事件發生時間排序後，兩個事件相隔的時間就是等待時間。

Y1=X(1)Y2=X(2)−X(1)⋮Yn=X(n)−X(n−1)  ⟹  X(1)=Y1X(2)=Y1+Y2⋮X(n)=Y1+Y2+⋯+Yn  ⟹  J=det⁡(100⋯0110⋯0111⋯0⋮⋮⋮⋱⋮111⋯1)=1\begin{align*} Y_1&=X_{(1)}\\ Y_2&=X_{(2)}-X_{(1)}\\ \vdots\\ Y_n&=X_{(n)}-X_{(n-1)} \end{align*}\implies\begin{align*} X_{(1)}&=Y_1\\ X_{(2)}&=Y_1+Y_2\\ \vdots\\ X_{(n)}&=Y_1+Y_2+\cdots+Y_n \end{align*}\implies J=\det\begin{pmatrix} 1&0&0&\cdots&0\\ 1&1&0&\cdots&0\\ 1&1&1&\cdots&0\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ 1&1&1&\cdots&1 \end{pmatrix}=1   ⟹  fY1,⋯ ,Yn(y1,⋯ ,yn)=fX(1),⋯ ,X(n)(y1,y1+y2,⋯ ,y1+y2+⋯+yn)∣J∣=n!λnexp⁡(y1+(y1+y2)+⋯+(y1+y2+⋯+yn))=(nλ)e−nλy1⋅(n−1)e−(n−1)λy2⋯λe−λyn=exp⁡(nλ)⋅exp⁡((n−1)λ)⋯exp⁡(λ)\begin{align*} \implies f_{Y_1,\cdots,Y_n}(y_1,\cdots,y_n)&=f_{X_{(1)},\cdots,X_{(n)}}(y_1,y_1+y_2,\cdots,y_1+y_2+\cdots+y_n)|J|\\ &=n!\lambda^n \exp(y_1+(y_1+y_2)+\cdots+(y_1+y_2+\cdots+y_n))\\ &=(n\lambda)e^{-n\lambda y_1}\cdot (n-1)e^{-(n-1)\lambda y_2}\cdots \lambda e^{-\lambda y_n}\\ &=\exp(n\lambda)\cdot\exp((n-1)\lambda)\cdots\exp(\lambda) \end{align*}

i.e. Y1,⋅YnY_1,\cdot Y_n are independent Exp(λ)\text{Exp}(\lambda)