跳至主要内容

點估計（Point Estimation）

我們已經有 nn 個數據 X~=(X1,…,Xn)∼iidf(x~;θ)\utilde{X}=(X_1,\ldots,X_n)\stackrel{\text{iid}}{\sim} f(\utilde{x};\theta) with θ∈Ω=Rr\theta\in\Omega=\R^r 是未知的。假設我們對 η(θ)∈R\eta(\theta)\in\R 感興趣。我們希望能夠用 X~\utilde{X} 來估計 η(θ)\eta(\theta)。

Definition

Any function δ:Rn→R\delta :\R^n\to\R is called a point estimator of η(θ)\eta(\theta).

i.e. δ(X~)=η(θ)^\delta(\utilde{X})=\hat{\eta(\theta)} 是一種估計 η(θ)\eta(\theta) 的方法。

EX: Data from N(μ,σ2)N(\mu, \sigma^2) with θ=(μ,σ2)∈Ω=R×(0,∞),r=2\theta=(\mu, \sigma^2)\in\Omega=\R\times(0,\infty), r=2，有兩個參數。

  1. η(θ)=μ\eta(\theta)=\mu

    μ^=X1\hat{\mu}=X_1 or Xˉ\bar{X} or X(n)X_{(n)} 都是估計 μ\mu 的方法。

  2. η(θ)=σ2\eta(\theta)=\sigma^2

    σ2^=S=1n−1∑i=1n(Xi−Xˉ)2\hat{\sigma^2}=S=\sqrt{\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2} or S∗=1n∑i=1n(Xi−Xˉ)2S_*=\sqrt{\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2} 都是估計 σ2\sigma^2 的方法。

備註

已經觀察到數據 X~=x~=(x1,…,xn)\utilde{X}=\utilde{x}=(x_1,\ldots,x_n)

  ⟹  δ(X~)∣X~=x~\implies \delta(\utilde{X})\mid_{\utilde{X}=\utilde{x}} 是 η(θ)\eta(\theta) 的估計值。

Q: 如何從眾多的估計方法中選擇一個好的估計方法？

i.e. 如何衡量一個估計方法的好壞？

我們可以用誤差的平方來衡量一個估計方法的好壞i.e. (δ(X~)−η(θ))2(\delta(\utilde{X})-\eta(\theta))^2.

  ⟹  \implies 最佳的估計方法，是能夠在所有可能的数据情况下，平均的误差平方最小的方法。

  ⟹  E[(δ(X~)−η(θ))2]\implies E[(\delta(\utilde{X})-\eta(\theta))^2]

Definition

MSE(δ(X~),η(θ))≜Eθ[(δ(X~)−η(θ))2]MSE(\delta(\utilde{X}), \eta(\theta))\triangleq E_\theta[(\delta(\utilde{X})-\eta(\theta))^2] is function of θ\theta.

MSE(δ(X~),η(θ))=Eθ[(δ(X~)−η(θ))2]=Eθ[(δ(X~)−Eθ[δ(X~)]+Eθ[δ(X~)]−η(θ))2]=Eθ[(δ(X~)−Eθ[δ(X~)])2]+Eθ[(Eθ[δ(X~)]−η(θ))2]+2Eθ[(δ(X~)−Eθ[δ(X~)])(Eθ[δ(X~)]−η(θ))]Since Eθ[δ(X~)]=Eθ(Eθ[δ(X~)])  ⟹  2Eθ[δ(X~)−Eθ[δ(X~)]]=0=Eθ[(δ(X~)−Eθ[δ(X~)])2]+Eθ[(Eθ[δ(X~)]−η(θ))2]=Varθ(δ(X~))+[Eθ[δ(X~)]−η(θ)]2\begin{align*} MSE(\delta(\utilde{X}), \eta(\theta))&=E_\theta[(\delta(\utilde{X})-\eta(\theta))^2]\\ &=E_\theta[(\delta(\utilde{X})-E_\theta[\delta(\utilde{X})]+E_\theta[\delta(\utilde{X})]-\eta(\theta))^2]\\ &=E_\theta[(\delta(\utilde{X})-E_\theta[\delta(\utilde{X})])^2]+E_\theta[(E_\theta[\delta(\utilde{X})]-\eta(\theta))^2]+2E_\theta[(\delta(\utilde{X})-E_\theta[\delta(\utilde{X})])(E_\theta[\delta(\utilde{X})]-\eta(\theta))]\\ &\text{Since } E_\theta[\delta(\utilde{X})]=E_\theta(E_\theta[\delta(\utilde{X})]) \implies 2E_\theta[\delta(\utilde{X})-E_\theta[\delta(\utilde{X})]]=0\\ &=E_\theta[(\delta(\utilde{X})-E_\theta[\delta(\utilde{X})])^2]+E_\theta[(E_\theta[\delta(\utilde{X})]-\eta(\theta))^2]\\ &=Var_\theta(\delta(\utilde{X}))+[E_\theta[\delta(\utilde{X})]-\eta(\theta)]^2 \end{align*}
Definition
  1. Eθ[δ(X~)]−η(θ)≜Bias(δ(X~),η(θ))E_\theta[\delta(\utilde{X})]-\eta(\theta)\triangleq Bias(\delta(\utilde{X}),\eta(\theta))
  2. Eθδ(X~)=η(θ)  ⟹  δ(X~)E_\theta\delta(\utilde{X})=\eta(\theta) \implies \delta(\utilde{X}) is unbiased for η(θ)\eta(\theta)
備註

MES(δ(X~),η(θ))=Varθ(X~)+[Bias(X~,η(θ))]2MES(\delta(\utilde{X}), \eta(\theta)) = Var_\theta(\utilde{X})+[Bias(\utilde{X}, \eta(\theta))]^2

我們希望針對 η(θ)\eta(\theta) 找到一個最好的估計方法 δ∗\delta^* ，使得在任何可能的參數值下，它的 MSEMSE 比其他任何估計方法都要小，i.e. MSE(δ∗,η(θ))≤MSE(δ,η(θ)),∀θ∈Ω,∀δMSE(\delta^*, \eta(\theta))\le MSE(\delta, \eta(\theta)), \forall \theta\in\Omega, \forall \delta

但這是不可能的

我們可以定義白目估計量 δc(X~)=c,∀X~\delta_c(\utilde{X})=c, \forall\utilde{X} with c=η(θc)c=\eta(\theta_c) is a constant.

  ⟹  MSE(δc,η(θ))=Varθ(δc)+[Bias(δc,η(θ))]2=0+[c−η(θ)]2={0if c=η(θ)(c−η(θ))2if c≠η(θ)\begin{align*} \implies MSE(\delta_c, \eta(\theta)) &= Var_\theta(\delta_c)+[Bias(\delta_c, \eta(\theta))]^2\\ &=0+[c-\eta(\theta)]^2\\ &= \begin{cases} 0 & \text{if } c=\eta(\theta)\\ (c-\eta(\theta))^2 & \text{if } c\neq\eta(\theta) \end{cases} \end{align*}

如果最佳的估計方法 δ∗\delta^* 存在

  ⟹  MSE(δ∗,η(θ))≤MSE(δc,η(θ))  ⟹  MSE(δ∗,η(θc))=0,∀θc  ⟹  MSE(δ∗,η(θ))=0,∀θ\begin{align*} \implies& MSE(\delta^*, \eta(\theta))\le MSE(\delta_c, \eta(\theta))\\ \implies& MSE(\delta^*, \eta(\theta_c))=0, \forall \theta_c\\ \implies& MSE(\delta^*, \eta(\theta))=0, \forall \theta \end{align*}

是不可能的。因此我们无法通过 MSEMSE 来得到最佳的估计方法，我们需要做一些取舍（限制）。