多重比較 Multiple comparisons

在用 ANOVA 時，會得到一個 F-test，這個 test 只能告訴你整個 model 是否顯著 (i.e., 總體平均數不相同或不完全相同)，並不能告訴你特定的組與組之間是否有差異。有很多種方法可以比較組間的平均值是否有差異，這些方式就稱作多重比較 (multiple comparisons) (註：這裡只說事後比較，不提事前比較)。

那為什麼有這麼多種方式，不要有一種就好？好問題，因為問題的核心是 Type I errors。不同的方法有不同的假設與處理 Type I errors 的方式。那為什麼問題的核心是 Type I errors呢？因為就整個 model 的 F-test 來說，你只有一個比較，換言之，你只要處理一次 Type I error 即可。但當你作多重比較時，你就要處理很多次 Type I error (三組間的比較就要處理三次，四組就要六次) ，在這情況下，就要調整 error rate 以免不小心犯了 Type I error 了。

如果要作 post hoc comparisons (有人叫 posteriori test) ，有許多選擇：1) Fisher’s Least Significant Difference (又稱為 LSD)；2) Tukey’s Test；3) The Ryan Procedure (REGWQ)；4) The Scheffé Test；5) Dunnett’s test for comparing all treatments with a control。

會產生這麼多方法，主要是比較的方式不同。有的方法是與均值作比較 (i.e., 所有組別的平均皆相同)，有的方法是配對比較 (pairwise comparison) (i.e., 與控制組比較、與最佳組比較)，有的是 contrast (特定兩組比較)。

LSD (最小差異)

簡化比較步驟，臨界值最小，最易顯著 (也表示較容易犯 Type I error)。LSD 要在整體模組 F-test 顯著的情況下才行。

Tukey’s Test (又稱為 Tukey’s Honestly Significant Difference Test，或簡稱為 Tukey’s HSD)

Tukey HSD 是測試所有可能的 pairwise 的平均值，並決定是否其中之一為 0。

Tukey’s test 的假設是 1) 所有的observation 都是獨立的；2) 平均數是來自常態分佈的樣本；3) 同質性 (equal variation across observations)；4) equal sample sizes (參見 Wikipedia)。

如果樣本數不同，用Tukey–Kramer method。

REGWQ

(待補充)

Scheffé Test (雪費檢定；同步檢定法)

同時測試所有可能的 contrast，並視是否其中之一為 0。

臨界值最大，最不容易顯著 (也表示較不容易犯 Type II error)。

可用於各組人數不同、非常態分配上。

Dunnett’s test

如果是比較所有的 treatment 跟 control，建議用此種方法。

比較表 (出自 Statistical methods for Psychology by David C. Howell，第六版，頁375)： 

Note:
^a: Error rate per comparison.
^b: Family error rate (FW). 
FW^*: against complete null hypothesis.
t^** : modified t test.
F^*: modified.
Pairwise***: Tukey HSD can be used for all contrasts, but is poor for this purpose.

請高手補充與指正！

標籤： 統計分析