在得到數據 X ~ = ( X 1 , ⋯ , X n ) ∼ f ( x ~ ; θ ) \utilde{X}=(X_1, \cdots, X_n)\sim f(\utilde{x};\theta) X = ( X 1 , ⋯ , X n ) ∼ f ( x ; θ ) θ ∈ Ω ⊆ R n \theta\in\Omega\subseteq\R^n θ ∈ Ω ⊆ R n H 0 H_0 H 0
假設是關於 θ \theta θ ⟺ \iff ⟺
如何假設只描述了一種分佈，那麽稱之爲簡單假設（Simple Hypothese） 。否則成爲複合假設(Composite Hypothese) 。
EX : X ∼ N ( μ , σ 2 ) X\sim N(\mu, \sigma^2) X ∼ N ( μ , σ 2 )
H : μ = 20 , σ 2 = 1 ⟺ H : X ∼ N ( 20 , 1 ) H: \mu=20, \sigma^2=1 \iff H: X\sim N(20,1) H : μ = 20 , σ 2 = 1 ⟺ H : X ∼ N ( 20 , 1 ) Simple 。H : μ ≥ 60 , σ 2 : H: \mu\ge 60, \sigma^2: H : μ ≥ 60 , σ 2 : ⟺ H : X ∼ N ( μ , σ 2 ) \iff H: X\sim N(\mu, \sigma^2) ⟺ H : X ∼ N ( μ , σ 2 ) μ ≥ 60 , σ 2 \mu\ge 60, \sigma^2 μ ≥ 60 , σ 2 Composite 。
通常來説，我們關注的是參數的範圍，i.e. H : θ ∈ ω ⊆ Ω H: \theta\in \omega \subseteq \Omega H : θ ∈ ω ⊆ Ω
∣ ω ∣ = 1 ⟹ H |\omega|=1\implies H ∣ ω ∣ = 1 ⟹ H ∣ ω ∣ > 1 ⟹ H |\omega|>1\implies H ∣ ω ∣ > 1 ⟹ H
而我們檢定的是 H 0 : θ ∈ ω 0 H_0: \theta\in\omega_0 H 0 : θ ∈ ω 0 H 1 : θ ∈ ω 1 H_1: \theta\in\omega_1 H 1 : θ ∈ ω 1 ω 0 ∩ ω 1 = ∅ \omega_0\cap \omega_1=\empty ω 0 ∩ ω 1 = ∅
假設檢定
在真實的情況中，我們永遠無法知道 θ \theta θ H : θ ∈ ω , ∀ ω H: \theta\in\omega, \forall\omega H : θ ∈ ω , ∀ ω
所以再給檢定結果下結論時，我們不會説我們接受了某個假設。而是拒絕或不拒絕某個假設。
因此檢定 H 0 : θ ∈ ω 0 H_0: \theta\in \omega_0 H 0 : θ ∈ ω 0 H 1 : θ ∈ ω 1 H_1: \theta\in\omega_1 H 1 : θ ∈ ω 1
H 0 H_0 H 0 虛無假設（null hypothese） 。H 1 H_1 H 1 對立假設（attenative hypothese） ，是我們想要説明的假設。
E.G. :
H 0 : H_0: H 0 : H 1 : H_1: H 1 : H 0 : H_0: H 0 : H 1 : H_1: H 1 : H 0 : H_0: H 0 : H 1 : H_1: H 1 :
檢定函數（Test Function）
當我們拿到一組數據 X ~ = x ~ \utilde{X}=\utilde{x} X = x ϕ \phi ϕ H 0 H_0 H 0
任何函數 ϕ \phi ϕ
ϕ : R n → [ 0 , 1 ] \phi:\R^n\to[0,1] ϕ : R n → [ 0 , 1 ] 都可以稱爲檢定函數（Test Function） 。
並且 ∀ x ~ ∈ R n , ϕ ( x ~ ) \forall \utilde{x}\in \R^n, \phi(\utilde{x}) ∀ x ∈ R n , ϕ ( x ) H 0 H_0 H 0
e.g. :
ϕ ( x ~ ) = 1 ⟺ \phi(\utilde{x})=1 \iff ϕ ( x ) = 1 ⟺ x ~ \utilde{x} x H 0 H_0 H 0 ϕ ( x ~ ) = 1 ⟺ \phi(\utilde{x})=1 \iff ϕ ( x ) = 1 ⟺ x ~ \utilde{x} x H 0 H_0 H 0 ϕ ( x ~ ) = 1 2 ⟺ \phi(\utilde{x})=\frac{1}{2} \iff ϕ ( x ) = 2 1 ⟺ H 0 H_0 H 0 H 0 H_0 H 0 1 2 \frac{1}{2} 2 1
型 I 和型 II 錯誤
在檢定問題中，有 4 中可能的情況：
reject H 0 H_0 H 0 not reject H 0 H_0 H 0 θ ∈ ω 0 , H 0 \theta\in\omega_0,H_0 θ ∈ ω 0 , H 0 Type I Error Correct Decision θ ∈ ω 1 , H 1 \theta\in\omega_1,H_1 θ ∈ ω 1 , H 1 Correct Decision Type II Error
E.G. :
Type I Error : 無辜的人被判有罪。
Type II Error: 有罪的人被判無罪。
我們的目標是最小化 Type I Error 和 Type II Error 發生的概率。
假設我們不能容忍 Type I Error ⟹ \implies ⟹ H 0 H_0 H 0 ⟹ \implies ⟹
假設我們不能容忍 Type II Error ⟹ \implies ⟹ H 0 H_0 H 0 ⟹ \implies ⟹
P ( Type I eror ) + P ( Type II Error ) ≠ 1 P(\text{Type I eror})+P(\text{Type II Error})\neq 1 P ( Type I eror ) + P ( Type II Error ) = 1 它們的參數是不同的。Type I Error 是在 H 0 H_0 H 0 H 1 H_1 H 1
通常，我們會認為 Type I error 更嚴重。因此我們或設定 一個底線 α \alpha α α \alpha α
Note : test function ϕ \phi ϕ X ~ = x ~ \utilde{X}=\utilde{x} X = x H 0 H_0 H 0
ϕ ( X ~ ) = P ( rej H 0 ∣ X ~ = x ~ ) = E [ I ( rej H 0 ) ∣ X ~ = x ~ ] \phi(\utilde{X})=P(\text{rej }H_0|\utilde{X}=\utilde{x})=E[I(\text{rej }H_0)|\utilde{X}=\utilde{x}] ϕ ( X ) = P ( rej H 0 ∣ X = x ) = E [ I ( rej H 0 ) ∣ X = x ] ⟹ E θ ϕ ( X ~ ) = E θ ( E [ I ( rej H 0 ) ∣ X ~ ] ) = E θ [ I ( rej H 0 ) ] = P θ ( rej H 0 ) \implies E_\theta\phi(\utilde{X})=E_\theta(E[I(\text{rej }H_0)|\utilde{X}])=E_\theta[I(\text{rej }H_0)]=P_\theta(\text{rej }H_0) ⟹ E θ ϕ ( X ) = E θ ( E [ I ( rej H 0 ) ∣ X ]) = E θ [ I ( rej H 0 )] = P θ ( rej H 0 ) ⟹ E θ ϕ ( X ~ ) θ ∈ ω 0 ⟺ H 0 is true = P θ ( rej H 0 ) = P ( rej H 0 ∣ H 0 is true ) = P ( Type I Error ) and ⟹ E θ ϕ ( X ~ ) θ ∈ ω 1 ⟺ H 1 is true = P θ ( rej H 0 ) = P ( rej H 0 ∣ H 1 is true ) = 1 − P ( not rej H 0 ∣ H 1 is true ) = 1 − P ( Tpye II Error ) \begin{align*}
&\begin{align*}
\implies& E_\theta\phi(\utilde{X}) \quad \theta\in\omega_0 \iff H_0 \text{ is true} \\
=&P_\theta(\text{rej }H_0)=P(\text{rej }H_0|H_0\text{ is true})\\
=&P(\text{Type I Error})
\end{align*}\\
&\text{and}\\
&\begin{align*}
\implies& E_\theta\phi(\utilde{X}) \quad \theta\in\omega_1 \iff H_1 \text{ is true} \\
=&P_\theta(\text{rej }H_0)=P(\text{rej }H_0|H_1\text{ is true})=1-P(\text{not rej }H_0|H_1\text{ is true})\\
=&1-P(\text{Tpye II Error})
\end{align*}
\end{align*} ⟹ = = E θ ϕ ( X ) θ ∈ ω 0 ⟺ H 0 is true P θ ( rej H 0 ) = P ( rej H 0 ∣ H 0 is true ) P ( Type I Error ) and ⟹ = = E θ ϕ ( X ) θ ∈ ω 1 ⟺ H 1 is true P θ ( rej H 0 ) = P ( rej H 0 ∣ H 1 is true ) = 1 − P ( not rej H 0 ∣ H 1 is true ) 1 − P ( Tpye II Error ) Power Function: β ϕ ( θ ) = E θ ϕ ( X ~ ) θ ∈ ω 1 \text{Power Function: } \beta_\phi(\theta)=E_\theta\phi(\utilde{X})\quad \theta\in\omega_1 Power Function: β ϕ ( θ ) = E θ ϕ ( X ) θ ∈ ω 1 我們設定一個底線 α \alpha α ∀ θ ∈ ω 0 , E θ ϕ ( X ~ ) ≤ α \forall \theta\in\omega_0, E_\theta\phi(\utilde{X})\le \alpha ∀ θ ∈ ω 0 , E θ ϕ ( X ) ≤ α E θ ϕ ( X ~ ) , ∀ θ ∈ ω 1 E_\theta\phi(\utilde{X}), \forall \theta\in\omega_1 E θ ϕ ( X ) , ∀ θ ∈ ω 1
i.e. max E θ ϕ ( X ~ ) , θ ∈ ω 1 \max E_\theta\phi(\utilde{X}), \theta\in\omega_1 max E θ ϕ ( X ) , θ ∈ ω 1 sup θ ∈ ω 0 E θ ϕ ( X ~ ) = α \sup_{\theta\in\omega_0}E_\theta\phi(\utilde{X})= \alpha sup θ ∈ ω 0 E θ ϕ ( X ) = α
sup θ ∈ ω 0 E θ ϕ ( X ~ ) = α \sup_{\theta\in\omega_0}E_\theta\phi(\utilde{X})=\alpha sup θ ∈ ω 0 E θ ϕ ( X ) = α p h i ( X ~ ) phi(\utilde{X}) p hi ( X ) ϕ ( X ~ ) \phi(\utilde{X}) ϕ ( X ) α \alpha α
令 θ 0 \theta_0 θ 0 E θ 0 ϕ ( X ~ ) = sup θ ∈ ω 0 E θ ϕ ( X ~ ) = α E_{\theta_0}\phi(\utilde{X})=\sup_{\theta\in\omega_0}E_\theta\phi(\utilde{X})=\alpha E θ 0 ϕ ( X ) = sup θ ∈ ω 0 E θ ϕ ( X ) = α θ 0 \theta_0 θ 0 ω 0 \omega_0 ω 0 θ 0 ∈ ω 0 \theta_0\in\omega_0 θ 0 ∈ ω 0 ω 0 \omega_0 ω 0 H 0 H_0 H 0