在很多統計方法裡都會看到p值， 通常在許多期刊表格的下方都會看到*p<0.05, **p<0.01, ***p<0.001，所以就說*是顯著，**是很顯著，***是非常顯著 (這裡的顯著指的是magnitude)，所以說p<.001 的效果比p<.05的好，這樣說對嗎？
要回答這個問題就要先回到p的定義。p值用簡單的語言說，就是此測試結果有百分之幾的可能是由於機率的關係，再簡單一點就是出錯的機率，所以p<0.05 的意思就是此檢定小於5%的可能是由於機率。
許多人可能就接著會想：對啊，那p<0.01 當然比 p<0.05更顯著 (同上，指magnitude)，不是嗎？這樣的說法是不正確的，因為我們設p值是出錯機率，而p值界線是為了判定結果是否為顯著，所以只有兩種結果：顯著和不顯著，這邊提的是機率，而不應該用「非常顯著」或very significant這樣的詞語加諸在數據上面，而宣稱X對於Y結果具有「非常顯著」的效果，這是不正確的，怎麼可以用出錯的機率來推斷X對於Y的影響有多大呢？如果要知道效果的大小，得看effect size (可參考 話說Effect Size )。
在 http://www.graphpad.com/www/Book/Interpret.htm 網頁說的很好，許多人讀圖表的時候，都會把*: P < 0.05 (significant), **: P < 0.01 (highly significant); ***: P < 0.001 (extremely significant) 當作是米其林指南(Le Guide Michelin，為一本世界的飲食指南)，把*的多寡當作是顯著程度。這不可不慎！
如網友cog5566指出，顯著、非常顯著可以指「信心程度」， 所以bottom line就是p值是用來判斷接受與拒絕虛無假設，以及對結果的信心程度。
2009/11/25 更新
網友 Chen-Pan Liao 贊助了幾個值得思考的觀點，可以作為檢驗自己是否真的了解p值的意義：
P-value 並不能表示效應的大小;
P-value 並不是 alternative hypothesis 為偽的機率;
P-value 並不是觀測值是極端值的機率;
P-value 並不是犯 type one error 的機率;
P-value 並不是重覆取得觀測值得到不同結果的機率;
P-value 並不能決定顯著水準.
標籤： 統計分析